交通大脑综合解决方案设计探讨.pdf

C o m m u n i c a t i o n&I n f o r m a t i o n T e c h n o l o g y N o.5.2 0 2 3通信与信息技术2 0 2 3 年第5 期(总第2 6 5 期)交通大脑综合解决方案设计探讨汪雪松，唐俊峰科大讯飞股份有限公司，安徽合肥2 3 0 0 0 0摘 要：交通大脑的一种综合解决方案能够提升交通信息化和智慧化能力。首先，建设大数据基础平台系列，作为工具支撑交通数据采集和存储等功能；其次，依据行业标准和自定义标准制定数据标准规范体系，在此基础上设计从数据源到数据服务的一体化数据架构；随后，面向具体业务设计详细的数据流程，并结合数据特征等选用恰当的大数据组件；最终在数据底座基础之上，实现交通态势分析、交通信号优化等算法应用，辅助解决实际问题；与此同时保障数据的安全性。关键词：交通大脑；综合解决方案；实践应用中图分类号：T P 3 9 9文献标识码：A文章编号：1 6 7 2-0 1 6 4(2 0 2 3)0 5-0 0 7 4-0 51 前言2 0 1 9 年交通运输部下发数字交通发展规划纲要,要求加快交通运输信息化向数字化、网络化、智能化发展，许多地区逐步建设起交通大脑等应用系统，其中京沪等一线城市率先探索，据有关数据，杭州交通大脑截至2 0 2 2 年已实现1 8 0 0 余个灯控路口的联网控制，针对1 0 0 0 余个路口安装地磁流量检测器；通过融合联网数据自动预警路口拥堵、失衡等并下发自动配时方案；在主城区建成绿波带道路3 0 0 余公里，绿波带高峰均速3 3.8 k m/h,同比提升9?。然而，由于缺乏顶层设计与统一指导，各地建设交通大脑的功能与能力参差不齐，存在需求不明晰、系统不完整、应用落地难、投入产出比低等一系列问题，使得建设成效普遍不及预期3。其中最主体的模块即交通数据为例，由于对应业务繁多、多源异构、量级大、流转链路长、实时性要求高、涉及大数据组件多等特征，一旦缺乏良好的顶层设计，会直接降低交通大脑应用成效。结合已有平台建设中的问题和经验提出一种综合解决方案。首先要设计并开发好基础工具，即实现数据采集、接入、存储、计算等功能的大数据基础平台，由系列子平台构成；其次，站在业务全局角度，按有关国标和公安部部标及自定义标准，制定数据标准规范体系，并搭起从源头数据接入到对外提供A P I 的整体数据架构；再从具体业务角度出发，结合数据特征、业务需要、经济效益来设计详细的数据流程并选用恰当的大数据组件；最终实现交通态势分析、交通信号优化等算法应用；同时从数据跨网段流转、数据链路监测等角度保障数据的安全性。2 交通大脑综合解决方案2.1 大数据基础平台围绕着数据资源汇聚、存储、计算、共享、可视化的主线，交通大脑大数据基础平台由十余个子平台构成，并可按需部分选用。以部分子平台为例，用于“汇聚”的数据集成平台，适配多种集成来源和集成目的，提供任务管理、监控分析等功能，构建高效、易用、可扩展的数据传输通道；用于“存储”和“计算”的存储与计算平台，基于第三代H a d o o p框架研发，提供可靠、安全、容错的集群能力，使交通大脑能够对海量数据进行存储、计算和查询；同时针对实时场景专门制作了实时计算平台；用于“共享”的数据共享平台，能够通过数据交换功能实现数据传输和共享并在门户统一呈现；用于“可视化”的可视化分析平台，支持对数据进行简易的拖拽、配置、菜单和工具条等动作，以熟悉且直观的交互方式构建报表。除此之外，还有目录管理平台、数据资产管理平台、调度平台、安全平台等，可结合具体业务场景选取子平台并组合使用。收稿日期：2 0 2 3 年1 月1 1 日；修回日期：2 0 2 3 年8 月2 6 日7 4解决方案交通大脑综合解决方案设计探讨2.2 数据标准与数据架构交通数据主要来自交通信息发布设备和交通监测设备，如信号机、诱导屏、电警卡口、地磁线圈等，同时，公安天网数据、浮动车等互联网数据等也是不可或缺的，这些需要从“六合一”三台合一”情指勤督一体化等平台获取。实践来看，交通数据有以下显著特点：多元异构，数据来源于各类交通感知设备与软件系统，包括视频图像、文本、j s o n、二维表等多种形式；量级大，例如合肥市拥有数万套移动执法记录仪等视频采集设备，日均接入数千万条过车数据与近百万条交通违法数据；存储周期长，按规定，路况、过车数据通常需存储一年、三年；实时性要求高，例如过车数据上传集成指挥平台通常要求一分钟内完成，而交通死锁、溢出等突发事件更需要立刻精准感知；一次写入多次读取，例如城市路况数据作为客观数值不会再被修改，但作为其他诸多算法模型的源数据会被多次查询。要利用起数据，首先要制定好规范并落实，以保障数据质量4。可从行业标准和自定义标准两方面着手。前者包括国标、公安部部标、行业协会团体标准等，例如交通运输信息资源目录体系是按照行业、管理对象、业务类型等对数据进行归集，从全局视角将数据划分为若干大类，可指导建立组织、人员、车辆、路网、交通服务等主题库；道路交通管理信息代码明确指出一百余项交通行业标准，可指导建立道路、事故、违法等行业编码规范，同时包含数据一致性检测等数据校验方法。然而，普适的行业标准更多是提纲挈领的作用，或者说，在全局视角上保障各地各单位的交通大脑有一定的共通性和可比性。在具体建设时，还需结合业务来自定义更具体的诸如数仓设计规范、字段命名规范等，例如以库名加表名形式实现数据逻辑分层、权衡英文命名过长而拼音首字母命名简洁但易用性差的特点制定字段名，用以弥补行业标准在细节处的缺位。通过宏观中观的行业标准和微观的自定义标准，共同构成交通大脑数据标准规范体系。在数据标准规范基础上，交通大脑数据架构便相应设计，自底向上依次为数据源、原始数据、数据资产、数据服务四层。其中，数据源层对接入的初始数据落盘保存、不做任何修改；原始数据层则对源数据进行清洗并按业务领域的简单分类归集；数据资产层是经由数据治理与算法模型得到的有明确业务含义的数据集合；最后，数据价值需通过提供服务来体现，可统一采用A P I 形式。该架构是从业务角度出发，相应的，从技术角度可结合常用的数仓规范将其分为O D S、D W D、D W S 等层，两者本质上一致。数据体系架构见图1,该架构中，数据资产层是主体，也是最有价值之处。而数据资产尚无官方的统一定义与范围界定，这里结合交通业务将其细分为：主题库，是能够标识交通要素主题对象的多维数据集合，从较高层次对诸多交通对象进行抽象，包含组织、人员、车辆等；专题库，是围绕特定交通业务管理单元而设计的数据集合，包括交通违法、施工占道、公共安全服务等；指标库，是一个个单点的量化指标数据集合，包括用于评价业务成效的指标、用以指示算法效果进而指导调优模型的指标等。数据服务数据体系架构幽网服务路口裂务境点服务过车服务主题库专顾库指标库数据资产交通违法族工占道公共安全服务运行效率通行能力原始数据车辆数据驾决员数据警员数据道路交通数据事故数据数据源集成指挥平台六合一平台政务外网平台网平自图1 交通大脑数据体系架构2.3 数据业务流程与组件选型为设计交通大脑数据流转的完整链路，首先需识别出关键数据及采集计算存储等任务。考虑到交通数据种类繁多，尤其来自电警卡口等设备的过车数据的接入是交通业务的核心，不仅数据量级大，而且要求延时小，因此数据流程围绕着数据接入、即数据集成平台和设备接入平台来设计，并通过消息中间件K a f k a 进行解耦合，同时考虑到算法模型需从不同源头获取数据并将计算结果存入合适组件。这里的数据集成平台，用于标准化数据接入，设备接入平台则需适配一些非标准协议，用于各物联网设备产生数据的接入。数据流程主要模块见图2:有储关系型数据库非关系型数据库存猪描入擅入算法模型公安同有关平台O B S 存储露委数据集成平台k a f k a设备接入平台共享入第三方鼓据(共享)第三方数据(来源)物联同设备图2 交通大脑数据业务流程(1)物联网设备采集的数据，经由设备接入平台接入并简单清洗后，先转存到K a f k a,再经由数据集成平台落盘到数据库，同时业务端应用程序也可从K a f k a 集群中消费数据。这些数据包括电警卡口拍摄的过车和违法数据，地磁、线圈、雷达等检测的流量数据，互联网路况数据等。(2)数据集成平台负责直接对接第三方，包括接入第三方数据和向第三方共享数据，同时可将从第三方接入的数据和通过K a f k a 接收的源自设备接入平台的数据，持久化存7 5通信与信息技术2 0 2 3 年第5 期(总第2 6 5 期)储到关系型数据库O r a c l e 或非关系型数据库H B a s e 和E l a s t i c s e a r c h 等处。注意设备接入平台并不直接与各数据库连通，这是出于降低耦合度的考虑。(3)各算法模型按需选用不同组件，例如实时数据通过K a f k a 获取、离线数据存储在H B a s e、元数据存储在O r a c l e。具体到某个算法，例如路况预测算法，它同时需要来自K a f k a的实时路况数据、来自H B a s e 的历史路况数据和来自O r a c l e的静态路网结构数据，在完成预测后，一方面将结果转存到K a f k a 用于后续算法的输入，同步的将预测值落盘到H B a s e。前装感知设备数困库k a k a数天平电警知企坐A企业B企业厂高5 0 双厂南物取网协议其完协议设备接入平台节点踩0 0 6B 5y 0图3 过车数据接入示意这里以过车数据接入为例做具体阐述，见图3。交通态势感知设备多种多样，包括不同类型设备、同类型设备不同厂商、同类型设备同厂商不同协议等，因此设计了一个独立的设备接入平台，专用于海康、大华、宇视等主流摄像机厂商及其不同协议的数据接入。在此设计下，具体数据流程为：首先将电警卡口生成的过车数据接进来；由于涉及图片，在解析报文后，一方面将图片上传云存，同时多线程的将图片U R L 和经由视频图像算法解析出的结构化字段转存到K a f k a进而上传公安网有关平台；此外，设备接入平台可按需从数据库读取各设备备案信息、并将设备心跳等状态检测数据实时更新入数据库，还能够反向对各设备进行校时、重启等指令管控。前述数据流程的落实，涉及大数据传输、存储、计算等多类任务，且每类任务都有诸多常见的、优缺点与适用场景不同的组件，需结合业务来针对性选择。例如，大数据传输组件主要考虑源端和目的端数据类型、传输频率、数据量级等，大数据计算组件则应区分离线、准实时、实时等不同场景。这里以大数据存储组件为例进行详细阐述。选型交通大脑的大数据存储组件，首先要分析各组件的特性。例如E S(E l a s t i c s e a r c h)是当前最好的分布式全文检索数据库，适用多条件查询和精确查询；H B a s e 具有快速读写和可扩展特性，能实现基于范围的扫描查询，适合存储海量时序数据；C l i c k h o u s e 契合多维度指标或即席查询多的场景；M o n g o d b 适合无严格事务要求的各类数据等。结合业务来看，量级大且应用广的路况数据、过车数据是关键，需要支持大量级数据、适合精确查询、读写性能高的存储组件，建议选用E S 和H B a s e,此选型下有三种具体方案：H B a s e 存储；E S 存储；H B a s e 与E S 混合存储，即前者存储记录、后者存储前者行键。其中，路况数据每日新增数亿条且需存储一年，优选H B a s e,因其存储成本较低且能支持海量数据的简单条件查询，假如使用E S 则成本过高、且单次查询结果太大会给集群造成压力；过车数据每日新增数千万条且存储期限为三年，更适合E S 按日建索引来存储，因为H B a s e 难以支持多条件查询，不符合业务需求，并且试验发现以P h o e n i x为H B a s e 建二级索引的方案效果不佳，在数据量过大时很容易系统崩溃；此外，模拟H B a s e 与E S 混合存储的方案，发现其对路况和过车数据均引入了额外复杂度，性能未有显著提高，且加大空间占用，因此不予采纳。决定组件后，还需对每项数据梳理其使用场景，以此决定具体存储策略。例如路况数据，通常是查询某一分钟的全城区数据，或查询某地理位置周边一定时间范围内的数据，但通常没有全局路况排序需求，可基于此确定H B a s e 行键、列簇、列名等设计；过车数据通常做全字段精确查询和主要字段模糊查询、通常对久远的过车行为不再查询，因此其存储策略，首先根据城市规模来决定按日或按月建表，其次采用冷热部署策略，将一年内和一年前的数据分别存储在热节点和冷节点。2.4 数据应用利用这些标准化数据及算法引擎，交通大脑可支撑各类实战业务场景，这里以交通态势分析、交通信号优化为例进行介绍，另有若干跨场景的共性指标可独立为一类，并构成了前述数据资产层的指标库。(1)交通指标库结合应用场景，可将整体业务从运行效率、通行能力、拥堵、宏观状态描述、交通评价等不同角度进行归纳描述，由此得到若干指标。运行效率系列指标，包括平均行程速度、行程延误比、交通运行指数等，旨在从区域、道路、交叉口等方面反映交通运行状况；通行能力系列指标，主要是计算道路和交叉口的最大通行能力和实时承载度，同时面向恶劣天气等场景计算预警等级；拥堵系列指标，包括拥堵持续时长、交叉口最大排队时间指数、交叉口平均等候信控周期个数等，是从道路和交叉口维度分别识别拥堵点段，为制定交通拥堵缓解方案提供数据支撑；宏观状态描述系列指标，包含在途量、驻车量、出入城量等，从宏观层面反映路网中车辆实时分布；评价性指标，包括行程时间可靠性指数、路口与路段服务水平、绿灯利用率等，从而在采取诸如设立潮汐车道、更改信号灯配时等措施后，通过其同比环比便可以直观看出优化效果。(2)交通态势分析态势分析是对城市路网动态的实时监测及拥堵规律的研判，包括路况实时计算及短时预测等路况分析；车辆迁徙7 6解决方案交通大脑综合解决方案设计探讨挖掘、小时级交通等时圈计算等车流量分析；死锁及溢出路口实时搜寻等突发事件捕捉等。这些算法引擎，可通过将路网拓扑、浮动车路况、交通流量等多源异构数据融合起来取得更好效果。例如，融合多源数据的路况计算模型，是将基于浮动车数据计算出的路段拥堵级别，通过互联网地图等数据做交叉验证，再结合道路实景图片解析结果进行校准；路口死锁风险预警模型，则是首先对进入路口各方向的路况做分析，仅当各方向均拥堵时再调用并融合视频算法结果，来确定是否确实交通死锁，如此一方面提升了判定精度，同时节约了视频算法的庞大算力消耗、降低了集群压力，这也意味着经济效益提升。(3)交通信号优化信号优化引擎，主要是基于静态的路口渠化、动态的车流量与路口信控方案等，对灯控路口信控方案进行诊断和评价，并进行配时优化与效果评估，包括单点、干线、区域优化以及附属的信控区域划分等模型。信号配时又分为多时段定周期配时、实时配时两种策略，前者，首先基于路口交通流量变化规律来划分高峰、平峰等不同时段，再基于W e b s t e r方程等分别配时；后者则是通过雷达监测的排队长度等数据来计算各相位下实时状况，并综合考虑相位搭接带来的排队长度折算等问题，以及最大最小绿灯时长和行人过街等因素，综合计算出即将具有通行权相位的绿灯时长并实时下发执行。信号配时也可通过仿真、强化学习等技术路线得以实现。其他数据应用场景，例如警情调度方面有城市应急出警智能调度引擎，勤务方面有警员勤务分析、警情闭环率等模型，均可根据具体业务需求进行详细设计。2.5 数据安全参照公安部等相关单位制定的信息安全等级保护管理办法,交通大脑平台需符合信息系统安全等级保护三级要求，而交通大脑又数据繁多，应从技术和制度等多角度进行制约。以数据过边界为例，前述交通数据至少分布在公安内网、公安视频专网、电子政务外网、互联网四个网段，其中，前两者间数据交换通常无需安全验证，但特定数据由内网传给视频专网时，属于高密级向低密级传输，即使同属公安网段仍需加密或脱敏；而后两者若想使用公安网段数据，则必须保障关键数据不展示、敏感信息不公开。从技术角度，这些网段不直接互通，需要边界设备进行摆渡，应按降低数据流程复杂度、提高数据链路性能的原则来设计，这也是安全性保障的一方面，例如互联网到公安视频专网可采用F T P 边界，而公安视频专网到公安内网可对不同业务分别采用F T P边界或K a f k a 边界。广义上的数据安全，还应包括数据及时性、完整性等，而交通大脑的数据之间依赖和血缘关系复杂，一旦前置数据缺失则可能导致后置数据无法正确或及时计算，乃至引起交通指挥中心大屏展示故障、干扰交通管理。因此需构建数据监控平台，对交通大脑的数据集成与治理、算法输入输出等各环节进行全方位监控，对异常情形及时告警推送。平台支持对不同监控场景设置不同告警项；支持对不同告警项配置不同阈值和告警级别；支持定制1 分钟、5 分钟、1 5 分钟等多个时间粒度，一旦触发告警条件就立刻邮件通知运维人员。平台具体监控维度可包括：节点心跳是否正常、数据是否积压；设备是否校时、是否故障、是否传输延迟；图片上传云存时有无积压；算法输入与输出数据量级是否合理等。3 交通大脑实践应用交通大脑综合解决方案已于2 0 1 9 年起在合肥市部署上线并保持迭代、不断优化。据百度地图发布的中国城市交通报告,合肥市通勤高峰交通拥堵指数排名持续降低，从2 0 1 9 年度全国第1 1 名降到2 0 2 3 年二季度全国第3 0 名。根据合肥市数据资源局、合肥市公安局交通警察支队等部门编写的合肥城市大脑城市立体交通数据分析报告2 0 2 1 显示，交通大脑在合肥市的应用情况如下：(1)交通状况一屏化展示交通大脑汇聚整合公安交警、公交、城泊、互联网等多源异构数据，实时计算拥堵指数、路网承载率等各类交通指标，全方位显示实时交通状况，并可为诱导屏信息发布等提供支撑。该系统在合肥公安交警支队指挥中心大厅使用，直接辅助交通管理工作。(2)交通拥堵治理交通大脑的交通堵点挖掘与分析模块，通过交通态势分析类算法引擎，一方面实时感知和预判交通拥堵与死锁、溢出等情况，便于迅速派警处置；一方面通过深度融合计算，分析哪些是可以治理、治理后能有较大提升的拥堵顽疾地段。2 0 2 1 年起，合肥市拥堵治理领导小组参考交通大脑的建议，摸排梳理全市常态化堵点并结合交通实际和工程改造可行性，陆续完成2 6 个拥堵点的改造。(3)干线绿波优化交通大脑已协助合肥市交警部门对市区1 1 2 1 个重点路口进行诊断并形成分析报告，在此基础上完成自动化时段划分与单点信号优化，进一步对1 7 条合肥市进出城干线优化，形成干线绿波带。从成效来看，单路口优化后饱和度平均下降9.3 干线优化后行程时间平均下降1 4.5?(4)区域联动信号控制以合肥市经开区为例，由于主干道交织、周边大型商超和高校众多等因素，早晚高峰时主干线路经常出现拥堵甚至死锁溢出现象。交通大脑重点分析该区域4 条主干线路(金寨路沿线、繁华大道沿线、莲花路沿线、芙蓉路沿线)车流数据及彼此7 7通信与信息技术2 0 2 3 年第5 期(总第2 6 5 期)关联性，协助交警部门进行2 1 处路口的协调优化，实现区域联动信号控制。此外对关键节点车流量进行合理控制，采取快出缓进策略保障主城区车流快速出城。优化后，4 条主干线路排队长度平均下降1 5.5 区域拥堵状况明显缓解。(5)可变车道设立与管控参考交通大脑对车流潮汐规律的分析，合肥市交警部门陆续建成2 2 个路口的可变车道，并利用交通大脑对其进行智能化的分时管控，灵活调配路口通行资源。例如在铜陵路与裕溪路、长江东路与龙岗路、北二环与四里河路、芜湖路与马鞍山路交叉口，在设立可变车道并分时管控后，高峰期左转与直行的平均排队长度降低2 1?参考文献 1 王丽芬，徐浩神，赵甜甜.基于数据底座推动浙江交通大脑建设 J .通信企业管理，2 0 2 2,(0 8):2 0-2 1.2 何遥.智慧城市中的交通大脑 J .中国公共安全，2 0 1 9,(1 1):6 8-7 3.3 陆化普，肖天正，杨鸣.建设城市交通大脑的若干思考 J .城市交通，2 0 1 8,1 6(0 6):1-6.4 陈葭.政府数据治理感知质量对公众政府信任的影响研究 D .湖北武汉：华中师范大学，2 0 2 2.5 范雨佳.交通数据资产定价机制研究 D .大连：大连理工大学，2 0 2 2.作者简介汪雪松(1 9 9 1 一),高级工程师，大数据专家，从事智慧城市等领域工作。唐俊峰(1 9 9 9),中级工程师。R e s e a r c h o n c o m p r e h e n s i v e s o l u t i o n d e s i g n o f t r a f f i c b r a i nW A N G X u e s o n g,T A N G J u n f e n gI f l y t e k C o.,L t d,H e f e i 2 3 0 0 0 0,C h i n aA b s t r a c t:A t p r e s e n t,m a n y p l a c e s a r e b u i l d i n g t r a f f i c b r a i n p l a t f o r m s t o e n h a n c e t r a f f i c i n f o r m a t i z a t i o n a n d i n t e l l i g e n c e,b u tt h e p l a t f o r m f u n c t i o n s a n d c a p a b i l i t i e s a r e u n e v e n a n d o f t e n d o n o t m e e t t h e n e e d s o f b u i l d e r s w e l l.T h i s p a p e r p r o p o s e s ac o m p r e h e n s i v e s o l u t i o n f o r b u i l d i n g a t r a f f i c b r a i n.F i r s t l y,t h e b i g d a t a f o u n d a t i o n p l a t f o r m s e r i e s i s b u i l t a s a t o o l t o s u p p o r t t r a f f i cd a t a c o l l e c t i o n a n d s t o r a g e f u n c t i o n s;s e c o n d l y,a d a t a s t a n d a r d s p e c i f i c a t i o n s y s t e m i s d e v e l o p e d b a s e d o n i n d u s t r y s t a n d a r d s a n dc u s t o m s t a n d a r d s,a n d a n i n t e g r a t e d d a t a a r c h i t e c t u r e f r o m d a t a s o u r c e s t o d a t a s e r v i c e s i s d e s i g n e d o n t h i s b a s i s;s u b s e q u e n t l y,d e t a i l e d d a t a p r o c e s s e s a r e d e s i g n e d f o r s p e c i f i c b u s i n e s s e s,a n d a p p r o p r i a t e b i g d a t a c o m p o n e n t s a r e s e l e c t e d i n c o m b i n a t i o n w i t hd a t a f e a t u r e s;f i n a l l y,o n t o p o f t h e d a t a b a s e,a l g o r i t h m i c a p p l i c a t i o n s s u c h a s t r a f f i c s i t u a t i o n a l a w a r e n e s s a n d t r a f f i c s i g n a lo p t i m i z a t i o n a r e r e a l i z e d t o a s s i s t i n s o l v i n g p r a c t i c a l p r o b l e m s;a t t h e s a m e t i m e,d a t a s e c u r i t y i s g u a r a n t e e d.K e y w o r d s:T r a f f i c b r a i n,C o m p r e h e n s i v e s o l u t i o n,P r a c t i c a l a p p l i c a t i o n7 8