基于机器视觉的公路护栏状态智能监测系统.pdf

技术：基于机器视觉的公路护栏状态智能监测系统杨曼，党倩，万剑（华设设计集团股份有限公司，江苏南京）摘要：为有效监測公路护栏的良好状态，維护其完整性，提升公路交通安全。本文利用公路沿线已有固定视频，采用机器视觉分析技术，对护栏破损、护栏被撞等异常状态进行实时检測和预警，开发并试点 应用了基于机器视觉 的公路护栏状态 智能监测系统，測试结果表明，系统可有效提升公路护栏损坏的主动检測和预警能力，提高养护巡查效率，保障公路的安全、有序和杨通。关键词：机器视觉；固定视频；公路护栏；智能监测在公路日常运营中，护栏可对车辆和司乘人员起到很好的保护作用，因此保持护栏的完好具有重要意义。目前护 栏状态的监测主要采用传统人工巡查模式，耗时 耗力、效率低下，难以实现护栏损坏的及时发现 和快速处理。同时江苏省公路视频监控已基本实现全覆盖，具备良好的“互联网公路管理”基础，随着人工智能技术在交通行业的融合应用，借助机器视觉技术实现公路护栏状态的智能化监测对提高公路安全设施运营管理效率具有重要意义。一、研究背景现阶段国 内外学者在护栏监测方面的研究主要是公路护栏测量，侧重于受力、材料及数据故障监测随着视频图像技术在公路管理上的 快速发展，也取得了一定成果，金豪提出 了种基于深度学习算法的护栏检测方法，与传统的图像处理算法相比检测准确 率更高；廖家 才 等提出一种基于视觉的护栏检测方法并应用在护栏清洗车偏离预警系统，能有效提高清洗车的工作效率和安全性；王霞霞提出一种基于物联网的护栏碰撞监控系统，能有效监控高速公路护栏碰撞过程的瞬时特征。但目前利用机器视觉技术对护栏异常状 态的监测研 究较少，尚未结合公路护栏监测的实际需求开展研究及研发相关机器视觉产品。因此，本文在路网视频监控的基础上，融 合人工智能技术，实现护栏破损、护 栏碰撞的智能化监测及动态提醒，开发公路护栏状态智能 监测系统，结合南 京市国省干线试点示范应用建立 可复制、可推广 的应用模式，实现大范围路网护 栏状态的自动识別及智能监测。二、公路护栏状态智能监测系统需求分析针对南京公路管理部门的实际需求，主要 实现对护栏破损状态自动检测和报警，护栏被撞的交通事件自动检测和报警，并自动记录报警数据、图片和视频片段等信息。在系统功能层 面，主要实现数据采集、护栏异常检测、报警记录及统计管理需求。（一）数据采集需求系统对监控路段的视频监控设备的数据资源进行采集，利用后台分析的策略，将视频流传输至后 台服务器，后台服务器对视频进行分析并输出分析结果。（二）护栏异常状态检测及报警需求系统对采集 的视频数据分析，实现对护栏破损和疑似碰撞的交通事件自动检测、报警。（三）报警数据记录需求系统自动记录报警数据、图片和视频片段；能够自动定位位置信息，估计损坏长度。（四）统计管理需求系统能够对报警信息每天、每周、每月报警数、报警位置或区域、人工确认过的损坏长度等进行统计、分析、预警。三、基于机器视觉的公路护栏状态智能监测系统设计基于机器视觉的公路护栏状态智能监测系统包括数据釆集及预处理模块、事件检测模块金和査询分析模块，其中事件检测模块是本系统的核心，包括护栏破损检测、护栏碰撞检测、事件报警及处理，系统架构如图所示。（一）数据采集及预处理釆用前端采集、后端识别的工作方式，从公路视频共享与监控平台或者监控中心的接口调用实时视频流数据，集成事件检测算法模型开展数据分析，并将事件分析结果共享对应的业务管理平台。年增刊（总第 期）中国交通信息化 图基于机 器视觉的公路护栏状态 智能监測 系统 架构、视频监控及工作环境要求（）视频要求：像素 万；分 辨率以上；帧率；信噪比；环境照度；能见度；具备逆光处理性能。（）工作环境要求：环立杆高度，视场需监测到道路两侧范围。、数据集预处理采集于自然 场 景 的图像容易受到环境和图像采集设备的 影响，需对图像进行灰度化、几何畸变校正和均匀性检测校正等预处理来减少噪声和光照 等因素的影响，提高图像质量，进而提高系统的识别精度。同时对于深度学习方法，在图像识别任务中，足够多 的样本量可以提高识别 的准确率。然而在实际过程中，公路护栏缺失和碰撞事件的图像样本难以保存并获取到足够多的数量用于分类器的训练，因此本文利用卷积神经网络模型（，）结合生成式对抗网络模型（，卜卜图印 模型的整体架构高层特征进一步融合，提升分割边界准确度。护栏破损检测思路是：由于公路护栏破损的实例很少，为保证模型训练 集的数量，先釆用深度学习算法生成对抗网络对真实样本训练获得大量的生成样本集；接着将拟合后的样本集作 为模型的输入，经下釆样模块提取护栏特征，同时上釆样模块通过插值，转置卷积等方式，负责恢复特征图大小；最后判断模型输出结果中是 否出现多个连通域，若是，则护栏缺损，反之，则护栏正常。（）检测过程步骤：将视频中检测区域沿护栏标出（图）。（）原图（）检测图图检测区域示意图）对数据集进行扩展，通过对 真实样本的训练获得大量的生成样本集，并将其用于训 练过程，能有效提高本系统对公路护栏异常等情况的检测准确性和检测效率。（二）事件检测事件检测功能主要包括对护栏破损、护栏疑似碰撞的护栏异步骤：基于双三次插值法将检测区域拟合成长方形（图）。图检测区域拟合图常状态的检测、报警及处理。选取基于的破损检测算法和基于目标跟踪的疑似碰撞检测算法。、护栏破损检测（）基于的护栏破损检测算法护栏破损算法基于改进的语义分割算法，语义分割模型建立在分类模型的基础上，利用网络来提取特征进行分类，具体模型如图所示。相比，引入了模块，其将底层特征与步骤：将长方形区域输入改进后的模型中，若出现多个连通域，则护栏缺损，反之，护栏正常（图）。图模型检测图（）检测结果分析针对护栏破损检测算法，实验釆集了例图片样本（包含技术 个正样本，个负样本），最终，算法正确检测出了例（个正样 本，个负 样 本），错误检测出例（个正样本，个负样本），计算得到护栏完整检测准确率和护栏缺失检测准确率见表。表护栏破损检测结果序号检测内容检测结果备注护栏完整检测准确率 护栏缺失检测准确率、护栏疑似碰撞检测图疑似碰撞报警（）基于目标跟踪的疑似碰撞检测算法目标检测算法。目标检测算法中算法具有面向小尺度识别速度快、准确率高且结 构简单等优 势，作为系列目前最新的算法，相比，检测 准确率和实时性均有所提升。多目标跟踪算法。在目标检测的基础上，使用简单的卡尔曼滤波估计进行目标跟踪，通过卡尔曼估计对目标中心点的位置计算，使用匈牙利算法进行目标的匹配，利用马氏距离衡量预测到的卡尔曼滤波状态和新获得的检测框之间的距离进行追踪】。（）检测过程步骤：沿护栏绘制视频中疑似碰撞检测区域（图）；图绘制疑似碰撞区域步骤：通过算法检测图像区域中的目标车（图）；期二：，中分带图绘制疑 似碰撞区域步骤：基于算法检测到的目标车，通过算法进行目标跟踪；步骤：若发现检测跟踪目标静止，且在疑似碰撞检测区域内，则判断目标疑似碰撞护栏，进行报警（图）。（）检测结果分析针对护栏疑似碰撞检测算法，实验选釆集了例图片样本（个正样本，个负样本），最终，算法正确检测出了例（个正样本，个 负样本），错误检测出例（个正样本，个负样本），计算得到车辆疑似撞杆检测准确率见表。表护栏疑似碰撞检测结果序号检测内容检测结果备注疑似碰撞检测准确率（三）智能监测系统开发基于上述护栏 破损检测算 法与护 栏疑似碰撞检测算法的研究，开发了基于机器视觉的公路护栏状态智能监测系统，主要实现实时监测、事件检测、报警提醒、査询及分析等功能。、实时监控系统首页可根据不同位置桩号的监控相机播放实时视频，也可在实时预览中选择相机査看实时视频，系统实时监控界面如图所示。基于机器视觉的公路护栏状态智能监测系统？繆醵？图系统 实时监控界面、护栏异常状态检测系统通过对釆集的视频数据分析，实现对护栏受损和疑似撞护栏的交通事件进行自动检测，并可査看图片和视频等信息。护栏异常状态监测实例如图所示。、报警提醒系统可根据护栏异常状态的检测进行报警提醒，并可在告警实时图展示中査看。实时告警图 展示如图所示。、事件査询年增刊（总第期）丨中 国交通信息化 諸芬透舒查春更多！？：？；：？：；：？事令矣型：，事 事类：疑 夢隻皆护控樓事哮类栏资：式事：（）：）（）：图实 时告警图展示界面事犧？：？：？；？匚？：（）共务睡成图事件 查询界面）？：？图】护栏异常状态监测（左：护栏受损，右：疑 似撞护栏）系统可依据相机桩号、事件类型和查询时间对护栏破损、疑似撞护栏的事件进行查询、导出。事件查询界面如图所示。、统计分析系统可在统计分析里面査看告警事件的告警类型数量统计与占比、告警事件等级总数、告警数量日统计图。统计分析界面如图所示。四、试点应用本系统应用部署在江南高等级公路管理一站，选择（镇江界一 交 界处）作 为示范试点路段，选取处安装 有护栏的摄像机位置进行应用，分别为号点（道 处）、号点（道 处）、号点（道处）、号点（道处）、号点（道处）、号点图统计分析（道 处）。试点路段具有基 础的外场视频硬件设备与内场监控系统，满足系统视频图像釆集及处理要 求，作为示范试点场景，具有合理性；同时为实现系统的拓展应用，需结合现有业务系统进行数据共享，实现数据共享与应用集成，为成果的推广应用奠定基础。通过与现有南京路网运行数据分析与研判系统对接，将护栏状态监测 结果实时推送，实现系统的应用拓展：如图所示，通过实时告警接口数据推送，路网运行数据分析与研判系统可实时监测护栏状态，当监测到护栏破损、疑似护栏碰撞等事件时，系统以滚动信息、地图图标闪烁等形式进行告警提醒，便于管理人员及时监测处理。告警信息基于地图展现，支持用 户对告警图片、告警视频的浏览及详情查看。系统自试运行以来，日均报警次数次，误报率仅为。系技术统对接效果如图所示。为 实现事件的闭环处理，针对 告警事件可进行 事件处理，通过人工核验将检测正确的事件提交至养护科、巡检科等管理人员，便于护栏的及时维护，从而提高养护巡査效率，保障公路的安全、有序和畅通。针对检测误报、漏报的情况可以通过人工辅助纠错进行修改处理。五、结束语基于机器视觉 的公路护栏状态智能监测系统可实现护栏破损、护栏疑似碰撞的自动检测及预警，检测效果均在以上，其中护栏碰撞检测 准确 率达；通过与应用 系统对接和试点应用，效果良好，成果可复制推广至全市其他国省干线公路，实现对路网护栏的状态监测及预警。本研究虽然取得了一定的研究成果，但仍需在以下方面进一步深化：一方面，由于护栏破损实际样本较少，导致护栏缺失检测效果相比于护栏碰撞检测准确 率低，后续将检测算法模型在试点示范的基础上不断改进检测性能，提高检测准确率；另一方面，完善与业务协同管理系统的集成对接，以达到本系统应用的真正落地，实现成果的推广应用。参考文献黄 劼，密乐，程宏鶊基于载荷等 效的一体化 护栏推力检测仪研制四 川建材，丨，（）：韩 子东崔鹂飞，张 凯基于数据驱动的波 形护栏监測数据故障诊断方法研究公路交通科技，】，（丨张海 波，宁丰 安，吴迪基于脆敏材料的公路波形梁 护栏碰撞 事 故检測方法交通世界，（）：丨：丨？，（）】金豪基于 的公路护栏检測算法信息技术与信息化，（）：）廖家才曹立波，夏家豪等基于视觉的护栏 清 洗车偏离预警系统汽车安全与节能学报，（王霞 霞高速公路护栏碰撞 监控系统探讨中 国交通信息化，（）：丨 ，（），责任编 辑：户 利华