大数据分析技术在智慧交通管理中的应用.pdf

交通世界TRANSPOWORLD0 引言随着智慧城市建设的不断推进，交通管理也跨入了智慧交通时代。由于智慧交通概念提出时间不长，目前我国智慧交通系统建设还处于初期阶段。为此，交通强国建设纲要中明确了大力发展智慧交通的重要任务，推进了智慧交通的建设步伐。由于交通管理数据类型多样化、来源广泛、质量差异大，极大地影响了交通数据的应用价值。因此，精准化是未来智慧交通的发展趋势。大数据分析技术作为一种获取并应用海量数据的有效途径，将成为促进交通效能的关键着力点，交通大数据分析技术逐渐成为近年来交通领域的研究热点。智慧交通管理通过发挥大数据分析技术的优势，大力开发并规范智慧交通的规划与建设，为新时期智慧交通管理的精细化、智能化提供决策依据，并助力智慧城市的发展。1 大数据分析技术与智慧交通管理的关系1.1 大数据分析技术大数据即海量数据集合，其具有数量大、多样性、速度快、有价值和真实性特点1。大数据的这些特点决定了无法利用传统的分析软件进行快速有效的分析，只能通过新兴的科学技术手段和处理模式进行运算、分析和过滤，对未知事件进行预判。大数据分析技术主要包括分布式文件系统、分布式数据库、数据处理、统计分析、数据挖掘、云计算、模型预测等2。1.2 智慧交通管理智慧交通是一种新型的城市可持续发展方式，包括基础设施、运输服务和交通管理三大领域3。智慧交通具有高效、快捷、经济、安全、舒适和文明的特点，以此达到城市交通发展的智慧创新。智慧交通管理是在智能交通管理的基础上，在整个交通运输领域充分利用物联网、云计算、互联网、人工智能等技术构建的交通管理系统。智慧交通管理使人、车、路紧密统一，为交通管理部门提供信息支持和决策支持，不断提高交通运输系统的管理水平和运行效率。智慧交通管理体系包括驾驶人管理、出行管理服务、智慧交通大脑、智慧监管应用等方面。1.3 大数据分析技术对智慧交通管理的作用如何快速充分地提取海量的交通数据，保证数据的时效性和价值性是数据处理的难题。基于此背景下，2019年12月，交通运输部印发了推进综合交通运输大数据发展行动纲要（20202025年），明确了要充分利用大数据分析技术，深度融合于交通运输体系中，构建智慧交通管理新模式4。智慧交通管理中的大数据内容包括：道路交通管理支撑数据、道路交通管理关联数据、车驾管理基础数据、静态交通信息数据、动态交通信息数据和交通违法与事因处理基础数据等。而对这些海量交通数据进行有效的甄别、筛选、存储、分析挖掘和利用过程中，要依托各种大数据分析技术对其作出决策，实现交通管理，提升管理效率，整个管理过程是一个可以自动控制的闭环系统，如图 1所示。图1 智慧交通管理过程示意图智慧交通管理是一个不断优化资源配置的决策过收稿日期：2022-12-29作者简介：贾慧超（1989），女，河北石家庄人，工程师，研究方向为交通数字化、智慧管理。大数据分析技术在智慧交通管理中的应用贾慧超（河北冀翔通电子科技有限公司，河北 石家庄 050000）摘要：由于交通数据呈海量特征，为充分发挥智慧交通管理的重要作用，需要高效分析处理交通数据资源，特提出智慧交通管理大数据分析技术，不断推动智慧交通管理的发展。在综合阐述大数据分析技术和智慧交通管理特点的基础上，对两者的关系进行研究；通过分析Hadoop大数据平台原理，实现了交通大数据的分布式提取、计算和处理，能够有效提高交通数据的分析能力。结合保定市智慧交通管理实际状况，打开了交通拥堵、交通安全、交通效率治理的一条新思路。关键词：大数据；智慧交通管理；Hadoop大数据平台中图分类号：U495文献标识码：A7总652期2023年第22期（8月 上）程。基于交通大数据的数量大、多样性、速度快、有价值和真实性特点，交通大数据的计算和求解具有很强的复杂性，直接决定了大数据分析技术的重要地位。其可以评估交通流量信息，为决策提供实时、完整、准确的数据支撑，通过归纳、类比等方法优化了决策空间。因此，在智慧交通管理过程中，大数据分析技术是整个智慧的核心，实现快速、及时的智慧交通管理。2 智慧交通管理中的大数据分析技术随着数据采集技术的不断发展和交通数据的多年积累，交通数据量迅速增长，已超过PB级5。面对交通大数据带来的挑战，智慧交通管理要利用分布式计算任务调度服务程序对海量数据进行数据挖掘和建模、实时提取和处理，Hadoop是当前主流的大数据平台之一6。Hadoop技术是一个集开发和运行处理大规模数据的开源软件平台，自Apache基金会发布以来就被广泛应用于大数据处理。Hadoop 核心组件包括 HDFS、MapRuduce、HBase7。2.1 HDFSHDFS是Hadoop存储数据的核心，其以流的形式访问数据，具有高度容错性、适合批处理和能够运行在低性能的硬件系统上等优点。HDFS架构采用主从架构模式进行大数据的存储和管理工作，在HDFS分布式文件系统中包括 NameNode 节点和 DataNode 节点。一个HDFS分布式文件系统只包含一个NameNode节点，是数据管理的主节点，负责数据块的创建、修改和删除管理工作。当用户向 NameNode发送访问请求时，NameNode则会反馈数据位置信息，并进行数据定位，访问。一个 HDFS 分布式文件系统会有多个 DataNode 节点，是真正存储数据块的数据节点，负责数据块的读写工作。HDFS 的数据存储原理是将大数据上传到DataNode里，然后将大数据分割为一个个小的数据块，分散存储于每一个DataNode数据节点上，其体系结构如图2所示。而DataNode和NameNode之间的通信是通过心跳机制实现的，NameNode每隔一定的时间周期从每个DataNode数据节点收集心跳报告，没有及时反馈心跳报告的DataNode数据节点则标记为数据故障节点。2.2 MapReduceMapReduce是一种处理大数据的分布式计算框架，其利用Hadoop集群中的所有计算机对数据进行并行处理工作，解决交通大数据处理效率低的难题。MapReduce 框架包括 Client、JobTacker、TaskTracker 三部分，Client 负责提交任务给 JobTracer，JobTracer 负责分配Map（映射）和Reduce（归约）任务，TaskTracker负责执行计算任务，最终HDFS保存计算结果。MapReduce计算处理流程是 Map 函数负责从 HDFS 中读取原始数据，数据以 key/value 的形式输入，key 值为数据偏移量，value值为数据内容。经过对输入的数据进行拆分、筛选、计算和融合处理后，同样以 key/value的形式进行输出并保存到临时文件中。在整个Map阶段过程中，系统会启动多个Map函数进行迭代运算，从而提高工作效率。临时文件经过Combine函数和Shuffle函数的合并和排序处理，降低 Reduce 函数的数据处理量。在 Reduce阶段，以 key/value的形式对之前合并和排序处理的数据进行汇总处理，最终以 key/value 的形式输出，将数据运算结果保存到HDFS上。2.3 HBaseHBase也是主从式结构模式，Master是主节点，RegionServer是从节点，打破了行存储的方式，采用按列存储非结构化和半结构化的松散数据，具有高性能、面向列的、可伸缩性的特点。同时，查询规则也是通过定义列簇，达到数据实时查询的效果，满足了交通流数据的场景，大幅提高查询效率。在对交通数据处理过程中，Hbase利用分布式协同服务存储寻址入口信息和元数据表的位置信息，完成数据信息的读取和写入。3 智慧交通管理案例分析河北省环抱首都北京，东与天津市毗连，南接山东、河南两省，西与山西省为邻，西北与内蒙古交界，东北与辽宁省接壤。为加快智慧交通发展，河北省交通运输厅印发了 河北省智慧交通专项行动计划（20202022年）。河北省各城市相继开展智慧交通试点建设，例如：衡水、秦皇岛、石家庄、保定等城市都在智慧交通管理建设上取得了显著成效，实现了交通管理的数字化、集约化、现代化和一体化。下文以保定市为例，阐述了智慧交通管理的建设思路和发展策略。3.1 保定市智慧交通管理现状保定市位于河北省中部，紧邻北京市、天津市，图2 HDFS系统结构图8交通世界TRANSPOWORLD全面对接京津冀首都经济圈与雄安新区。保定市辖5个区、4个县级市、15个县，截至2020年12月常住人口924.26万。由于车辆的增长速度飞快，为有效治理交通通行效率，不断加大推进智慧交通管理的新模式。2015年8月，智慧交通管理体系建设进入了重点规划。2018 年 4 月，智慧交通管理建设领导小组正式成立。2019年12月，智慧交通管理一期项目正式启动。截至2020年12月，二期项目正式启动8。3.2 保定市智慧交通管理建设思路与发展策略针对一期智慧交通管理系统平台建设的不足，二期平台建设主要工作任务是智慧交管大脑的扩容、强化前端智能感知网络、完善智慧交通应用以及信息安全保障等内容，以实现精准打击、精细管理，不断提高管理效率。3.2.1 智慧交管大脑的扩容为匹配与日俱增的交通大数据传输与存储的需要，要对智慧交管大脑进行扩容。扩容项目包括IaaS层基础设施、PaaS层平台服务、DaaS层数据服务和交通集成智慧平台。通过充足的存储空间和计算算力，不断优化感知引擎、服务引擎和识别引擎，做好视频、图片、数据等处理的保障工作，实现智慧交通管理的“一张图”指挥，“一张图”作业。3.2.2 强化前端智能感知网络智慧交通管理系统以全面性、准确性的信息数据参数为支持，只有不断优化信息数据采集工作才可以达到智慧交通系统建设成效。因此，保定市通过强化前端智能感知网络来完善本期项目的建设工作，打造高密度感知网络的信息数据采集方式。增设的前端智能感知网络包括：路口交通流量检测系统、AR实景感知系统、智能信号控制系统、非机动车和行人违法管理系统和停车智能违法管理系统等。3.2.3 完善智慧交通应用通过对系统应用的不断摸索，发现系统应用还存在一些不足，主要是由于交通数据海量增加，系统运行不流畅、系统设备在没有网络时无法访问、系统数据抽调错乱等问题。因此，保定市智慧交通管理部门针对该类问题，加大整改力度，不断完善系统硬件升级和软件漏洞，为各个业务应用模块提供基础保障。3.2.4 加强信息安全保障智慧交通管理系统采用了云计算、大数据、物联网等先进的信息技术，开放性较高。因此，系统在数据的收集、传输、加工、存储和应用等过程都会存在一定的安全隐患。从技术层面上讲：首先，对各个环节的数据信息进行加密处理，可以采用控制数据访问权限、数据使用监控和数据输出加密等方法。其次，通过分开存储数据资源与数据密钥，以物理隔离方式达到数据破解难度的目的。最后，采用虚拟化技术对传统网络安全保护产品构建安全资源池，安全防护智慧交通管理系统的物理层、网络层、数据层、主机层、虚拟层、应用层，提高系统的安全性。4 结束语交通快速发展创造了海量的交通数据，为实现智慧交通管理的良好效果，大数据分析技术是最为低成本、高效率的有效途径。Hadoop作为一种主流的大数据分析技术，可以对海量数据进行并行分析，同时，分布式集群具有良好的扩展性，实现高效实用的智慧交通管理平台。本文结合河北省保定市交通区位特点，将以人为本作为核心理念，建立了一个以大数据分析技术为核心的智慧交通管理体系，提出了智慧交通管理的建设思路和发展策略，充分利用智慧交通管理系统解决了交通管理的问题，为助力智慧城市的发展提供了保障。参考文献：1 隋志纯，于晓晴大数据技术在智慧交通管理平台中的应用J无线互联科技，2021，18（24）：98-992 吴传强，梁楠，徐可基于大数据技术的智慧交通场景应用J.中国自动识别技术，2021（6）：48-50.3 庄志宇.智慧交通的发展现状及其面临的挑战J 黑龙江科学，2021，12（22）：110-1114 艾小燕武汉市智慧交通管理中的大数据应用研究D武汉：华中科技大学，20185 李兴兵，许永平，黄力大数据时代城市智慧交通管理发展现状及对策J智能城市，2020，6（17）：10-136 徐乐西，栾玉婷，曹越，等 城市智慧交通管理大数据平台架构及设计探讨J邮电设计技术，2020（5）：7-127 任凯以大数据为基础构建智慧交通管理的思考J道路交通管理，2017（3）：35-368 苑宏保定市智慧交通管理体系中存在的问题及对策研究D保定：河北大学，20209