基于深度学习技术的路面隐患排查应用与实践.pdf

15交通科技与管理智慧交通与应用技术0引言随着社会经济的不断发展，公路交通在国民经济和人们生活中发挥着越来越重要的作用，在我国公路交通领域表现的更加突出，全国纵横覆盖格局已成规模效应。在高速公路的长期运营过程中，会发生各种类型的路面通行隐患。公路服役周期内，路面表观病害对行驶安全、行驶平稳性、路基安全造成多种风险，为公路养护和隐患排查带来诸多不确定挑战，快速检测病害、定位病害成为研究的重要内容1-4。在当前从国家到地方的道路检测和评价的框架下，普遍采用的多功能车在一定范围和周期内解决了这一问题，然而巡查频率、隐患排除效率、管控效果均急需提高，需要改变依靠多功能车采集、利用人力视觉筛查标签的传统方式，而形成真正意义的隐患发现、识别、排除半自动化作业。显然，隐患确认关键动作需要人工干预，这样一来既释放了被大量占用的人工，同时也增强了隐患发现处置能力。即便如此，基于视觉分析技术的隐患识别方法包括自适应阈值分割法、边缘检测法、形态学 AI 法、小波分析等算法，仍难以克服多域多候背景误差、临界近似度、参数复杂精度低问题。并且，对于车道动态跟踪、安全隐患目标的快速检索、重定位、清晰度和数字图像处理，均对路面隐患的及时发现、及时处置造成一定的技术滞后。基于图像解析深度学习技术的持续发展5，卷积神经网络在工业、空间、设计包括交通领域已经获得广泛应用。近年来，部分学者试图将 CNN 应用于土木工程结构的表观隐患排查。例如，Cha 等6将 CNN 与滑动窗口技术相结合应用于裂缝识别，其训练数据设定为 40 000 张图片（256256 像素），测试图片大小为 5 8883 584 像素，测试持续时间为 4.5 s，最终验证准确率约为 98%。Dorafshan 等7构建了 SDNET 2018 裂纹图像数据库，方便检测人员和技术人员测试和验证，在此基础上灵活架构识别方法，包括采用 CNN 检测识别裂缝和坑槽，这一思路与边缘计算方法明显不同。在众多识别方法比较中，将 CNN 和边缘计算快速识别相结合，形成前后台相互促进的检测策略，取得了较好效果8。Ni 等9通过基于卷积自动处理明显结构裂缝的 CNN 框架，达到特征融合和像素级分类效果。但这些方法需要算力保证，识别计算过程要求高，并且带来与 CNN 目标检测结果相违背的识别错误。后续处理仍需要采用其他方法。为了解决上述问题，Girshick 等10使用CNN作为内核并将其与选择性搜索算法相结合。HeK等11提出了空间金字塔池化（SPP-Net），其使用全图像卷积共享特征图方法来减少 R-CNN 的训练和测试时间，并且目标检测精度也有所提高。显然，人工识别算法在交通领域尤其公路行业越来越多地被应用到生产作业和养护管理环节，样本持续增长、算法模型不断创新演进，包括算法与算法之前的集成研发，都促成了新技术、新装备、新方法大量涌现，以 CNN 为基础结合 CCN 创新模式大幅提高行业应用的实用性和普及率，在车载及机载算力限制条件下，令检测识别效果更理想。该文介绍了基于 CNN 和 CCN 方法的路面隐患定位及形状提取，计算带边界的提取隐患区域的位置和面积。针对该方法的评价，介绍了准确率（P）、召回率（R）和 F 值指数，并验证了所提方法的有效性。1路面隐患检测识别技术原理路面隐患检测识别技术主要包括软件层面的神经网络图像识别和硬件环境层面的车载或机载边缘计算智能设备。路面隐患识别的过程如图 1 所示。目前，路面图收稿日期：2023-10-16作者简介：吕伟杰（1975）,男,本科,高级工程师,从事土木工程工作。基于深度学习技术的路面隐患排查应用与实践吕伟杰1,许基献1,斯锦伟1,王佳2,李家伟2（1.浙江省交通集团高速公路台州管理中心,浙江 台州 318000;2.南京智行信息科技有限公司,江苏 南京 211100）摘要随着公路建设事业的快速发展，道路隐患排查管理任务伴随而来，特别是前期建设的一批高速公路已逐步进入中修或大修期，相关管理部门越来越重视道路通行隐患监测数据的收集和分析。为了增强基于机器视觉数字图像处理的道路隐患排查识别效率和准确性，在目标检测技术中引入卷积神经网络CNN算法，快速识别带边界的隐患目标类型、位置和区域，并基于 CNN 通过隐患目标轮廓网络 CCN 方法进行定位和提取病害形状。在 CCN 算法中引入道路隐患类型识别准确率、召回率和方差比值即F值指标，来评价算法模型，根据最大F值划分和确定隐患目标相应的轮廓区域。工程验证结果表明，文章所提出的隐患识别效率和准确率较高，可用性强。置信度阈值取最优值后，准确率、召回率、F 值可达到 91.8%、86.1%和 84.6%。关键词数字图像处理；卷积神经网络；隐患目标；CCN中图分类号U445.4文献标识码A文章编号2096-8949（2023）24-0015-042023 年第 4 卷第 24 期16交通科技与管理智慧交通与应用技术像的采集方式是巡检车等摄像机，特殊情况下也伴飞无人机空中视角抓拍，形成单目多目多视角等识别要求，算法模型大小、集成度、精度须根据不同搭载进行配置。一致的过程是，前端边缘负责采集、预处理、基础数据加载、回传，算力越强对图像清晰度敏感性越低，目标越小则对图像清晰度要求越高，后端负责数据汇集、分类整理、二次检测、综合分析。具体识别过程可划分为按预定规则的快速抽帧，使用图像分割、一致化、色阶值、区域增强等数字图像处理技术进行预处理，必要情况下，通过小样本变换增加输入；通过专业人员根据行业应用要求进行经验标注，形成人为定义的隐患特征库；初始化 CNN 识别网络，设定初步参数，进行初次训练，重复流程，进行规模化调参，达到分级化置信度；训练完成，通过验证集实测路面隐患识别排查的效果，如裂缝、坑槽、交安破损，根据边界框尺寸信息，评估实际检测效果和置信度指数。对于水平和垂直隐患目标，在边界框确定后，提取区域目标形状并得到隐患面积，通过反向色差隐患目标表征信息更丰富、更准确。图 1路面隐患检测识别过程在硬件环境层面，具备了深度学习技术准备后，需要对当前的巡查车做智能化升级，使之适配于新型业务模式下的路面隐患排查任务：运用 5G 技术构造前端车载边缘计算；新增高清摄像头，加载前端采集和识别模型；组件优化和匹配，最小化功耗和最大化分类图像处理性能。具体需做的升级改动包括：通过技术选型采用成熟的边缘主机、智能摄像头、5G 移动通信模块和北斗双模系统实现系统化智能巡查车硬件环境的升级，边缘主机和通信模块安装于驾驶室侧壁，摄像头安装于车顶向前方向，视野覆盖路面和两侧交安，北斗双模系统天线则需安装在车顶或驾驶室外部后侧，并确保其上方没有遮挡。在此智能硬件基础上，加载边缘计算系统软件，包括图像预处理模块、桩号和坐标对应模块、快速识别模块，与中心管理系统形成云边协同的隐患识别，基于快速识别模块可将病害图像赋值车道线标识、左右幅标识，与桩号互为对应，从而准确定位和溯源路面隐患和病害的时空位置，方便工程人员快速化现场确认和隐患排除。基于无人机的路面隐患检测主要采用车机协同飞控作业系统、航线预设、定点复拍、新型无人机载遥感技术等实现多视角联动，与路政巡查车伴飞配合。利用无人机的空中视角和航线定制，实现道路外侧、特殊结构物、车载和人员视角观察不到位置的隐患巡查工作。同样，通过无人机机载边缘计算设备将预处理的图像分析结果通过 5G 模块或中继网络同步传输至中心管理系统，从而达到同一时空车载和机载不同路径的隐患排查协同效果。2路面隐患检测技术实现方法2.1卷积模型架构技术流程CNN 模型架构通常包括对输入图像的一簇堆叠层（如卷积、激活和极化）进行特征提取，以及通过全连接层进行分类，以输出每个类的分值。每一层负责不同的功能，并使用前一层的结果作为后一层的输入。对于机器视觉任务，CNN 网络需要：从原始图像中提取特征；使用分配有初始随机权重和偏差的过滤器将特征向前馈送，以预测类别；计算预测分值与基本事实之间的损失；应用反向传播来调整滤波器权重并不断置信，最终获得优化模型。已经有一些研究试图将深度学习方法应用于土木工程结构，例如基于 CNN 的混凝土机架检测方法，并且所提出的模型相对于传统图像处理技术的优势已经得到证明。此外，CNN 还应用于高效隧道检查和内壁裂缝检测。然而，CNN 在基础设施检查中的应用仍处于起步阶段，使用 CNN 进行结构损伤检测的研究仍在持续发展中。2.2模型训练、验证和测试在模型训练特征提取方面，路面隐患排查工作场景主要在野外、公路沿线和两侧，视频图像采集受气候、光线、环境等影响，导致每次巡查拍摄源图像都存在差异。为准确识别分析造成一定的难度，需要对含有干扰信息的源图像进行灰度、对比度及极值化预处理，利用小波变换滤波方法确保分析处理后的丰富细节。模型通过调配神经网络分支类型、层级参数、置信度等不断迭代和训练，生成高可靠高可用性的隐患识别网络。在对多份17交通科技与管理智慧交通与应用技术隐患病害图像样本分析后，不难发现，块状、网状、条状、变形、缺失等隐患病害不同特征的呈现形式，利用向量机分类器对其特征进行统计归类，从而帮助管理人员在大量巡查图像中自动获取有价值的分析结果。在经过海量样本训练成熟后，该模型可确保巡查采集和分析效果的连续性和可靠性，方便管理人员对巡查路段做出准确评估。以常见隐患路面裂缝为例，裂缝来自智能巡查车实际采集的道路图片，大小为 2 0482 000 像素。通过图像切片、旋转、镜像等获得训练样本集，其中有裂纹的样本数为 15 235，无裂纹的样本数为 21 642。之后，使用预训练网络进行迁移学习，所有数据轮换 50 个纪元，最终识别精度值可以达到95%以上。CNN关键参数分别为：训练时间 50 s，轨距 32，训练率 104，衰减系数 106，如图 2 所示，显示了使用上述参数获得的准确率性能。图 2CNN 训练准确性3应用实例在浙江省甬莞高速公路等工程项目中，通过动态抽帧采集数百公里的路面图像集，对完整和受损的路面进行了系统化 CNN 特征图的训练、验证和测试，路面背景的处理方法则采用双值图像处理方法进行处理。在典型实例中可以看出，背景噪点很难去除，效果也不容忽视。因此，一些传统的图像处理算法很难破解。研究将有意义的图像组件突出出来，进行一系列基于形状的图像演算处理，以表达和描绘区域形状构造，识别和表征目标对象最本质的形状特征，如轮廓和对象区域。典型的 CCN 方法用于处理路面图像时，广泛结合数字图像处理技术，根据边界框区域中的最小灰度值重现块状裂缝形状。主要步骤如下：（1）块状裂缝的特征之一，是与路面背景存在灰度级差异，最暗的像素一般属于裂纹，提取裂纹区域（CNN处理）。（2）由于路面的灰色背景，第一步的提取容易产生噪声，例如局部黑噪声。在该文中，这些区域中的像素被滤除（局部黑噪声被去除）。（3）第二步降噪后，需恢复路面像素的详细过程：高斯模糊（卷积核为 99），生成新像素；执行低阈值二值化（阈值为 0），极化像素使裂缝沿路面像素扩展；使用大模板（77）侵蚀细化裂缝；使用小模板（33）膨胀以平滑裂缝；再次使用小模板（33）。根据灰度骨架和裂纹原点像素细化裂纹形状，灰度值均差超过一定范围予以删除。从而过滤掉一些背景像素，这些像素在形态处理过程中被误认为是隐患目标。进一步使用轮廓检测，在图像中定位和锁定隐患目标的区域边界，如图 3 所示。在所提出的路面隐患检测和识别方法中，也可以尝试更多的数字图像处理方法。图 3CCN 隐患目标块状裂缝轮廓分析在该工程实践中，经过大量隐患目标识别排查测试和验证，对标计算真阳性率（TPR）、真阴性率（TNR）、假阳性率（FPR）和假阴性率（FNR），4 个指标经统计分析，得到准确率（P%）、回归率（R%）和 F 值（F%）。工程验证表明，P%、R%和 F%于实际隐患排查识别中整体性能相应达到 91.8%、86.1%和 84.6%。4结语该文提出了基于深度学习模型的路面隐患检测方法框架。引入目标检测中的 CNN 算法，快速识别带边界的被提取隐患区域的类型、位置和区域，CNN 基于 CCN方法用于定位和提取病害形状。从测试结果中可以得出以下结论：（1）基于 CCN 的 CNN 集成方法可以在路检车采集的图片上有效地搜索定位隐患，准确提取坑槽、车辙、裂缝形状。（2）测试结果表明，该检测方法工作效率高，漏检率较低，虽存在少量误检，仍可直接应用于路面隐患的自动检测。（3）引入准确率（P）、召回率（R）、F 值等指标对算法进行评估，根据最大 F 值确定隐患框对应的轮廓区域，整体性能达到 91.8%，86.1%和 84.6%。显然，不足和需要加强之处在于，需通过后台几何学习法进行进一步误检筛查。18交通科技与管理智慧交通与应用技术参考文献1Mohebian P,Aval SBB,Noori M,et al.Visible Particle Series Search Algorithm and Its Application in Structural Damage IdentificationJ.Sensors.2022(3):1275.2Li Z.,Noori M.,Altabey W.A.,et al.A multi-objective optimization algorithm for BoucWenBaberNoori model to identify reinforced concrete columns failing in different modesC,Proceedings of the Institution of Mechanical Engineers,Part L:Journal of Materials:Design and Applications,2021(9):2165-2182.3Altabey,W.A.Applying Deep learning and Wavelet Transform for Predicting the Vibration behavior in Variable Thickness Skew Composite Plates with Intermediate Elastic SupportJ,Vibroengineering,2021(4):770-783.4Altabey,W.A.Prediction of Natural Frequency of Basalt Fiber Reinforced Polymer(FRP)Laminated Variable Thickness Plates with Intermediate Elastic Support Using Artificial Neural Networks(ANNs)MethodJ,Vibroengineering,2017(5):3668-3678.5Wang T.,Altabey W.A.,Noori M.,et al.A Deep Learning Based Approach for Response Prediction of Beam-Like StructuresJ,Structural Durability and Health Monitoring,2020(4):315-338.6Cha Y.J.,Choi W.O.Deep Learning-based Crack Damage Detection Using Convolutional Neural NetworksJ.Computer-aided Civil and Infrastructure Engineering,2017(5),361-378.7Dorafshan S.,Thomas R.J.,Maguire M.Comparison of Deep Convolutional Neural Networks and Edge Detectors for Image-based Crack Detection in ConcreteJ.Construction and Building Materials,2018,186,1031-1045.8Dorafshan S.,Thomas R.J.,Maguire M.An Annotated Image Dataset for Non-contact Concrete Crack Detection Using Deep Convolutional Neural NetworksJ.Data in Brief,2018,21,1664-1668.9Ni F.T.,Zhang J.,Chen Z.Q.Pixel-level Crack Delineation in Images with Convolutional Feature FusionJ.Structural Control and Health Monitoring,2018.10Girshick R.,Donahue J.,Darrell T.Rich Feature Hicrarchies for Accurate Object Detection and Semantic SegmentationC,IEEE.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE,2014.11He K.,Zhang X.,Ren S.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual RecognitionC.IEEE Transactions on Pattern Analysis and Machine Intelligence,2015(9),1904-1916.（上接第 40 页）图 8不同初始拥挤站点个数仿真对比3结论为了对轨道交通拥挤传播进行研究，该文研究了经典城市轨道交通传染病模型。正确认识产生城市立体交通突发事件无干预措施下的动态拥挤传播过程，是制定应急干预措施、妥善控制城市立体交通网络拥挤客流的基础，这对运营方更好制定管理措施以应对突发大客流的影响具有借鉴意义。该文基于经典传染病模型，考虑站点异质性与受客流辐射强弱，提出了 MSEIR 传播仿真模型，并对拥挤传播率、拥挤消散率、初始拥挤站点个数进一步分析。分析表明，初始拥挤站点数目对拥挤传播整体而言影响不大；拥挤传播率影响城市轨道交通网络拥挤站点达到峰值的速率；采取适当措施，增加拥挤消散率才能有效缓解城市轨道交通网络的拥堵问题。下一步将结合具体 AFC 数据量化拥挤传播参数分析不同时间段的拥挤传播情况。参考文献1 徐欣怡.列车运营故障条件下客流拥挤传播特性及疏导策略研究 D.江苏：南京理工大学,2021.2 段晓东,王存睿,刘向东.元胞自动机理论研究及其仿真应用 M.北京：科学出版社,2012.3 李学伟,吴今培,李雪岩.实用元胞自动机导论 M.北京：北京交通大学出版社,2013.4 蒋阳升,刘纹滔,姚志洪.基于元胞自动机的轨道交通突发客流拥堵消散演化机理研究 J.交通运输系统工程与信息,2020(5):121-127.5 王兴川.基于出行行为分析的突发事件下城轨客流拥挤传播研究 D.北京：北京交通大学,2020.