服务于复杂交通管理需求的数字化底座框架.pdf

年増刊（总第 期）丨中国交通信息化 ：服务于复杂交通管理需求的数字化底座框架保丽霞吴志周（上海市城市建设设计研究总院（集团）有限公司，上海，同济大学道路与交通工程教育部重点实验室，上海）摘要：城市交通 数字化底座建设现状暴露了无法支持多部门数据融通、存储能力与算力无 法支持数据深度挖掘等弊端。针对当前交通领域面向海量数据开展的服务与业务 的现实，本文提出了“多计算模式分布式并行计算处理”核心技术架构，并给出其由“数”“云”“网”“系统”模块共同支持实现的具体技术方 案。该方 案适应当前 海量数据吞吐、应对高 密度高复杂度计算任务要求，充分体现了交通数字化底座充分连接、无限延展的特性。关键词：智 能交通；交通管理；数字化底座；分 布 式 计算基金项目：上海市科技人才计 划项目（），国家自然科学基金（）在我国产业数字化变 革大潮下，各地政府 普遍积极投人智慧交通系统建设，引入云计算、大数据、物联网、人工智能等信息技术，支持实现城市级交通管理工作智慧化升级。随着海量交通感知设备的合理布设与安装，曾经严重阻碍科学交通治理的数据釆集感知能力不足的问题得到解决，数据质量、丰度、可利用性都得到了 明显改善，而大数据的资源管理、深度挖掘、价值提取、安全交互等需求逐渐浮出水面。在各地的交通数据中心建设过程中，普遍反映存在数据融通能力不足、缺乏统一的数据平台，跨层级、跨地域、跨系统、跨部门的数据资源融通成效差等问题。为此，交通数字化底座概念应运而生。数字化底座涵盖智慧城市或城市数字化发展所需的基础网络、感知神经元、具有数据处置和智能能力的一系列平台，甚至可能包含与之相 关的技术层 面标准和规则、业务层面制度和规范，其核心价值在于“充分连接”与“无限延展”，从而解决数据存储和计算能力无法满足现实需求、数据流通不足阻碍协同工作等问题。一、交通领域数字化底座现状当前交通领域基于海量数据吞吐及数据高速处理能力的应用层出不穷，从智慧交通管控决策支持系统、实时再现交通场景动静态 综合平行仿真，到基于全寿命周期理念的基础设施与智能化设施运营维护与动态监管，再到智 能网联 汽车与 车路协同、无 人驾驶，都对数据釆集的体量和处理速度有极高的要求。面对综 合复 杂应用对数据汇聚、深度挖掘、交互通信、存储调阅的需求，当前交通数字化底座技术体现出如下不适应现象：（）局限于传统的关系型数据库存储框 架和结构化数据的处理机制，无法应对交通领域当前多样化数据采集、存储与处理的需求；（）缺 乏对外数据交换与分发 流通，造成信息壁垒与信息孤岛，影响城市交通整体化管理效率，无法支持日益增长的联动指挥需求；（）旧有存 储与运算框架效率较为低下，无法 满足当前交通各平台、系统或模块所 要 求 的 海量数据吞吐及并发运算的需求。上述问题的解决方案综 合 指向 了多计算模式和分布 式并 行计算 处理两大核心技术。基于此，可构建适应当前城市复杂交通治理需求的交通数字化底座核心技术架构。二、多计算模式分布式并行计算 处理核心技术架构“多计算模式分布 式并行计算处理”核心技 术架 构主要服务基于海量数据开展的服务与业务，由分布式文件系统、分布式数据库、多模式计算框架以及集群管理组件协同实现，包括：采用通过分布式数据库和分布式文件系统对交通系统产生的各类数据进行全量存储；釆用分布式架 构部署到相应 需求数量的节点服务器集群上，综合利用每台服务器的存储和计算资源，实现 对海量数据的管理与挖掘分析等功能，即利用分布式大数据存储与高并发流数据处理从而对海量交通业务数据进行处理；采用 多种网络通信模式结合方式对多方分 发消 息，提供信息订阅、消息自动推送等支持多方协作的基本信息交换服务。“多计算模式分布式并行计算处理”核心技术架构如图所示。技术图上述核心技 术架 构可映射在交通数字化底座的不同功能层次，从下至上一共分为海量数据接入层、存储层、处理计算层和接口层，分别 实现数字化底座职能中的汇聚、存储、处理与挖掘和共享与交换四项功能，并由“数”“云”“网”“系统”模块共同支持实现。三、交通数字化底座核心模块数、云、网、系统四大模块是指：（）数支持模块。所有智慧交通系统外部感知设施 及第三方外部信息源接入模 块，为 所有高 级业务提供最基 础 的 数据来源。（）云支持模块。能够在大数据、云计 算环境下支撑数字化底座所有数据汇 聚、存储、处理加工的软硬件集合。“多计算模式分布式并行计算处理”的 核心功能组件嵌入在云支持模块之中。（）网支持模块。服务于 数字化底座的数据交换与 分发需求。（）系统安全模块。保障数字化底座全方位运行安全。四、架构实现交通数字化底座的四大模块支持架构如图所示。（一）数支持数支持模块由广泛布设的交通数据釆集设备全样汇集交通系统内部数据，并按照信息权属规定与传输协议交换获取外部其他系统信息，主要信息内容包括：（）智慧 交通系统中外场感知设施采集 到的 数据，既包括按照业务需求上传的原始数据，也包括有边缘计算功能的设施经过计算处理得到的运行结果；（）第三方外部接入数据：包括数字化底座所支持的当前系统外部按照协同方案按约定频率、内容与数字标准传输的底层系可转卜议，多艇）与獅办议，支持智街元行的数字底座技术辦（“云支其？换消息了阅交互理輕计首服劳层离勒硫？赌？计篝柜用户難觸额节，雜理疗基础坏堍丄具分布式计算麟 转隹成用程月咕弹内行计薛框架用计臁柜穿数据存储层架构的）关系数据接入层子 赂台致配接门与通倍议多檐式通倍绍网系统安全接入边界：边界防护、传絶可、錄万物下行（部十算）图交通数字化底座的四大模块 支持架 构安全却滅？备器计点服限劣 器 专用？分雜夕接入业务麵勝接口艘计箅臟雜结果获：多模式计雜桀实时离线式计箕内存计黃图计计爸结果回写数捶鞋送分？库计箅结果麟，雛这分布式文件系统分布式消息队列“多计算模 式分布式并行计算 处理”核心技术 架 构基础环境工具 年増刊（总第 期）中国交通信息化 釆集原始数据或经过 外部系统数字化底座 处理加工过的数据与信息。需指出，交通数字化底座的数据来源多样、形式多样，可能同时包括结构、半结构及非结构化的异构数据。（二）云支持云支持 模块是适应海量交通数据 管理的数字化底座框架核心，承担所有流入交通数字化底座数据的综合存储、预处理、深度挖掘职能。按照原始数据特性和目前交通领域实际业务要求，上述处理工作既包括实时的，也包括离线的；既包括统计的，也包括智能计算的；单任务算力要求可能由单机即可快速完成，也可能需要多个处理器或服务器协同工作；可能是针对存在数据仓库中的大量历史静态数据进行分析，也可能是利用日志采集工具把 实时采集的数据作为流计算系统的输入进行实时处理分析。因此，云支持模块同时包括多模式的软硬件成分，是“多计算模式分布式并行计算处理架构”技术的核心所在。、硬件部分云支持模块利用 多台服务器的计算资源来并行地完成对特定问题的快速处理分析。对应“多计算模式分布式并行计算处理”的梭心技术架构，服务器集群主要实现两个功能：第一，由负责统一分配调度 的主节点 即主管理服务器将输人数据分成若干份并分发到不同计算节点上并发的解决全局问题中它所负责的子问题；第二，利用主管理服务器 以特定方式将各计算节点返回的数据处理结果合并得到全局问题的结果，并将结果回写到交通数据存储系统中进行存储；同时通过相关接口展示给业务终端。分布 式文件系统的通常是由基于客户机服务器模式构成；服务器端由主管理服务器（主管理节点）、备用管理服务 器（备用节点）以及多个计 算 节点服务 器组成的计算资源池构成。其中，主管理服务器提供元数据存取、元数据管理、文件块管理、故障管理等服务，有一定容错能力和扩展能力；备用管理服务器为主管理服务器提供冗余保护、计算节点服务器存储数据块，用于具体文件块的存取；计算节点服务器则提供数据存取、定期上报、数据交互等服务。分布式的特性是能够利用集群庞大的存储能力，对级的数据提供便捷有效的存储管理手段、且适合用于对大文件的处理；通过在不同机器上对同一份数据进行冗余备份来实现可靠性，计算节点之间通过相互通信来转移数据从而使数据分布均衡。、软件部分云支持模块集成了可帮助实现数字化底座高并发处理海量数据的软件。考虑到数字化底座的数据吞吐量与业务算力要求，其处理和存储等功能实现方面应综合运用大数据技术，在大数据存储、分析、査询、搜索、挖掘、可视化以及及时处理方面显著提升信息化实战中枢功能。在技术选型方面从数据存储、分布式计算框架、实时流数据处理、搜索引擎、数据挖掘及可视化、资源管理方面按需融合如下软件组件：（）数据存储可 选 组件：分布式文件 存 储系统；构建在之上的分布式、面向列 的、结构 的存储系统；建 立在基础上的开源的数据仓库，提供类似的语言操作结构化数据存储服务和基本的数据分析服务；基于分布式文件存储的文档型数据库，内置的水平扩展机制提供了从百万到十亿级别的数据量处理能力；高性能的图形数据库，基于磁盘、具备完全的事务特性的持久化引擎，可以视为一个高性能的图 引擎；特别为存储和处理大规模图形而优化的分布式图形数据库；用来将 和关系型数据库中的数据相互转移的工具。（）分布 式 计算框架：，其基于分布 式的思想，结合分布式文件 存储将海量数据进行拆分并计算，能够稳定可靠地处理级、级的海量数据；，计算模式的一个全新实现分布式内存计算框架，基于可以进行批处理、交互式分析、迭代式及其学习、流处理。适合数字化底座 的功能需求。（）实时流数据处理相关软件模块与处理框架：，个分布式的、分区的、多副本的实时消息发布和订阅 系统，提供可扩展、高吞吐、低延迟、高可靠的消息分发服务；，个基于时间驱动的 分 布式流处理框架；，基于小批处理的 分 布式流处理框架。具备分布 式、水平扩展、高容错和低延迟特性。可支持平行仿真、无人驾驶、数字孪生等应用的数字化底座对实时动态数据的处理有很高要求，因此实时流数据的处理技术在数字化底座的设计建设中有相当重要的作用。（）搜索引擎：全文搜索引擎，基于的搜索引擎服务器，提供了层面搜索，命中醒目显示并且支持多种输出格式，易于安装配置；分布式全文搜索引擎，基于的分布式全文搜索引擎，能够为结构化数据以及非结构化数据提供级数据的快速搜索；。为存储在中的 数据提供快速，交互式的査询，能够在秒或分钟级别提供査询的快速响应，非常适用于交互式査询和数据分析。（）数据挖掘及可视化：基于的分布式及其学习算法库，提供一些可扩展的机器学习领域经典算法，包括聚类、分类、推荐过滤、频发子项挖掘等；基于的分布式机器学习算法库，利用在迭代计算中的优势，大幅提高了机器学习算法 的计算性能，并将数据挖掘与统计分析有机结 合，提供完整的数据分析挖掘能力，在 中实现了基本的聚类、分类、预测、推荐过滤等算法；分析挖掘语言，技术用于统计分析、绘图的语言，提供了一些集成的统计工具，更大量地提供各种数学计算、统计计算的函数，从而使使用者能灵活机动地进行数据分析，甚至创造符合需要的新算法。（）资源管理：，作为运维管理系统，为数字化底座提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检査、问题定位、升级和补丁等。分布式资源管理框架，将集群中的计算资源与内存再远进行统一的调度与管理，通过灵活的资源调度策略实现资源的隔离与共享，灵活部署业务；。提供了对开源组件的任务编排、执行的功能，提供分布式、高可用性的协调服务能力。帮助系统避免单点故障，从而建立可靠的应用程序。除上述主要组件外，交通数字化底座的云支持还可根据实际需求集成其他组件，比如提供数字化底座应用的图形化用户界面的；分布式、可靠和高可用的海量日志聚合系统等。（三）网支持网支持模块满足当前交通领域各类应用对传输时延、传输数据量等不同要求，建议在传统通信网络架构的基础上，采用新一代宽带无线通信网络和多种应用模式相融合的构建方式，在路侧按需部署提供低延时、高可靠、全覆盖的、等新一代多模无线通信网络。网支持同样包括丰富的硬件系统，如各类交换机（如监控网核心交换机，转码用交换机，视频分析接入，流媒体交换机）、路由器（如监控网核心路由器）、光端机等。骨干网核心交换机应为高带宽、高密度、高可靠，必须满足电信级高可靠性要求，保证核心设备自身的稳定性，建议做核心交换机主控引擎冗余、交换引擎冗余、电源冗余设计；第二核心网络架构上做冗余和备份设计，采用双核心双归属架构，实现和虚拟化两台核心之间的热备份。同时为保证传输链路的安全性，在涉及到运营商传输链路接入核心交换机前，现场传输层接人云平台之前应加设防火墙，从安全和稳定性考虑，防火墙应做冗余设计，从资源集约考虑，可在防火墙上集成多业务板卡（如入侵防御、上网行为管控、负载均衡、漏洞扫描等）。需要说明的是，云支持、网支持的部分硬件设施需布设在专用的核心机房，并提供指挥大厅供管理者使用，涉及到指挥大厅大屏、坐席、指挥室必要设备（扬声器、功率放大器、电源管理器、中控终端、无线路由）、精密空调、供电系统（主机、开关柜、电池柜）、配线柜、监控体系（含闭路电视、网络硬盘录像机、温湿度记录仪）。（四）齡保安全保 障模 块保护交通数字化底座运行过 程中的各方面安全。由于数字化底座的信息安全直接决定了其所支持系统的安全性和可用性，包括了丰富的内涵，其安全特性可概括为保密性、完整性、可用性、可控性、可审査性等多方面内涵。所以，数字化底座安全保障体系是一个多层次、多方面的结构，包括了网络级、应用级、系统级和数据存储安全。应综合系统安全性策略、数据存储与传输加密、用户验证与用 户许可、数据安全性策略、用户安全性策略以及备份管理等多方策略。五、结束语本文提出由“数”“云”“网”和“系统”四大模块支持的，以“多计算模式分布式并行计算处理”为核心架构的城市交通数字化底座结构，具有以下优势：（）适应当前海量数据吞吐、应对高密度高复杂度计算的任务要求，可服务多方用户业务需求的数字化底座关键设计技术；扩展了数字化底座的职能，按照数据采集、传输与分发、数据存储、数据处理与可视化等四大职能组织框架，可服务于交通领域数据处理的全流程；（）同时考虑交通领域各类应用需求，整合成熟技术和先进技术共同构成数字化底座的整体技术框架，从而广泛兼容各种传输格式、处理频率、存储方式以及关联应用类型的数据，支持不同处理诉求、不同协同机制业务中不同类型、不同颗粒度、不同复杂度的高并发数据处理任务；）在确保安全、适配的前提下设计数字化底座广泛接人大量外部数据，以适应数字化底座所服务智慧交通系统的功能专业性、服 务目标对象多样性以及所涉及业务的复合性与联动特征。进一步扩展汇聚资源的范围内容和类型，以实现跨部门、跨领域交通数据的全面整合、存储、共享和发布，具备面向政府决策、行业管理和公众服务应用系统数据支持。通过各主体所提供交通大数据的相关性寻找事实关联，在原有经验不能覆盖的范围内发现新规律，提供新认识。参考文献刘拼基于域市数字底座的智 慧建 筑操作系统探析】智能 建筑（）：【】何玉明云一网一节端？架 构 下的智 能车道控制器【中国交通信 息化，（丨】）：【】李烨闫以构建域市 大脑促进政府 数字化转型发展的思考】中国信 息化，丨（）：丨 徐飞徐志斌叶晗等数字孪生技术 在智慧高速资产 管理中的应用中国交通信息化 丨（】）：丨，责任编辑：孙蜻