基于Jetson TX2的路面病害检测应用.pdf

2023 年第 9 期112计算机应用信息技术与信息化基于 Jetson TX2 的路面病害检测应用张宇昂1 李 琦1ZHANG Yuang LI Qi 摘要 针对目前路面病害检测方法存在落地应用难与成本高的问题，基于低功耗嵌入式平台 Jetson TX2 对深度学习路面病害检测模型进行落地应用。首先采用 YOLOv5 目标检测网络训练路面病害目标检测模型；进一步使用 TensorRT 方法进行模型优化与引擎模型转换；最后将路面病害检测模型部署到嵌入式平台Jetson TX2。在实际路面环境中进行实验，结果表明：在 Jetson TX2 嵌入式平台，对比选择兼顾准确率与检测速度的 YOLOv5s 作为路面病害目标检测模型，引擎模型推断精度达到了 90.5%，且推理速度较原模型提高了 35.1%，检测速度达到了 30.7 ms，漏检率仅为 0.13%。基于 Jetson TX2 的路面病害检测达到了准确且实时的检测效果，并有效地降低路面病害检测成本，实现了深度学习模型的落地应用，提高了路面病害检测的效率与自动化程度。关键词 深度学习；路面病害；TensorRT；Jetson TX2 doi：10.3969/j.issn.1672-9528.2023.09.0241.内蒙古科技大学信息工程学院 内蒙古包头 014010 基金项目 内蒙古关键技术攻关项目(2020GG0316)0 引言裂缝作为路面最常见的病害之一，容易造成路面安全隐患，因此对病害的高效检测与维护是一项重要工作。研制推广基于嵌入式的路面病害人工智能自动化巡查，能大幅减少路面的维护成本，提高路面病害检测自动化程度与维护效率。传统人工排查路面病害方法效率低、成本高和劳动强度大等问题。随着图像处理技术和深度学习的快速发展，各种深度学习模型能够挖掘病害更深层次的特征，包括卷积神经网络 CNN1、R-CNN2、Mask R-CNN3、SSD4和以 YOLO为代表的深度学习算法5 取得了飞速发展。如使用深度学习YOLOv5 目标检测方法6-7可进行目标检测与测量，但基于深度学习的病害检测方法检测速度慢，对设备硬件性能要求16 WANNER S,MEISTER S,GOLDLUECKE B.Datasets and benchmarks for densely sampled 4d light fieldsC/Vision,Modelling and Visualization.New York:IEEE,2013:225-226.17 Stanford lytro light field archiveEB/OL.2018-08-02.http:/lightfi elds.stanford.edu/index.html.18 RERABEK M,EBRAHIMI T.New light field image datasetC/8th International Conference on Quality of Multimedia Experience.New York:IEEE,2016(CONF).19 XAVIER G,BENGIO Y.Understanding the difficulty of training deep feed forward neural networksC/Conference on Artificial Intelligence and Statistics.New York:IEEE,2010:249-256.20 KINGMA D P,BA J.Adam:A method for stochastic optimization J.arXiv preprint arXiv:1412.6980,2014.21 LIM B,SON S,KIM H,et al.Enhanced deep residual networks for single image super-resolutionC/IEEE Conference on Computer Vision and Pattern Recognition Workshops.New York:IEEE,2017:136-144.【作者简介】蔡真真（1997），女，河南洛阳人，硕士研究生，研究方向：光场图像处理，email:。陈芬（1973），通信作者（email:），女，四川邻水人，博士、教授，研究方向：图像和视频信号处理。韦玮（1999），男，重庆人，硕士研究生，研究方向：光场图像处理。张华波（1998），男，贵州遵义人，硕士研究生，研究方向：光场图像处理。（收稿日期：2022-11-18 修回日期：2022-12-31）2023 年第 9 期113计算机应用信息技术与信息化高，缺乏现实应用。针对上述问题，本文对深度学习网络进行对比，选择兼顾准确率和检测速度的 YOLOv5s 作为病害识别网络，进一步训练路面病害目标检测模型；采用TensorRT方法进行优化，部署到低功耗的嵌入式 Jetson TX2 平台进行实际应用。在实际路面环境的病害检测过程中，低功耗的嵌入式平台实现了实时的路面病害检测，降低了落地应用成本，提高了路面病害检测效率与自动化程度。1 病害目标检测网络1.1 路面数据集采集与评价指标在车辆后方固定运动相机采集内蒙古某市及周边 300 km 左右的城乡道路、林业道路和高速道路路况图像，使用 LabelImg 标注工具逐一标注制作数据集 PD-Dataset，包含19201080 共 2874 张图像，5762 个目标，其中包括 1674个纵向病害 D00、1360 个横向病害 D10、1418 个网状病害D20、728 个坑洞 D40、188 个施工井盖 D50 以及 394 个修补D51，部分病害如图 1 所示。(a)为纵向、横向、网状病害等图像(b)为含有阴影、车道线等背景干扰图像图 1 PD-Dataset 部分数据集一般地，目标检测性能评价指标主要是 AP（average precision）和 mAP（mean average precision），计算式为：式中：TP为正确识别一个正样本的次数，FP为 IOU 小于阈值的检测框数量，包括同一目标多余的检测框，P 为所有被识别为正样本的数据中正确识别的比例，P 为某一类别所有目标的精确率求和，M 为该类别目标总数，N 为类别数，AP为所有类别的值之和。1.2 病害目标检测网络为了有效检测路面病害，王鑫6对目前较广泛的 YOLOv5、YOLOX、SSD 和 Faster RCNN 四种算法进行检测并比较，最终 YOLOv5 目标检测网络在训练和检测方面为最优。为进一步实现路面病害检测的实际应用，对 YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 五 种 网 络 结构进行比较，最终采用兼顾轻量化与准确率的 YOLOv5s 网络训练路面病害目标检测模型。图片进入网络后被 Resize 为6406403 的形式作为网络输入；经过 Focus 操作后变成32032032；再经过一系列的 CBL 和 CSP 完成下采样阶段；之后再进行上采样进行特征融合；最后对锚框进行后处理 NMS 得到最终的输出结果，模型结构如图 2 所示。图 2 YOLOv5s 病害目标检测网络1.3 模型训练本文病害检测模型的训练在 Ubuntu 操作系统上完成，配置 I9-109003.7 GHz 处理器、两张 Nvidia GeForce RTX3090 24 GB 显卡与 64 GB 内存的硬件环境，采用基于 Pytorch 深度学习框架进行 YOLOv5 病害目标检测模型的训练。划分训练集 2069 张、验证集 230 张和测试集 575 张进行训练对比。为了更快地达到网络收敛，设置超参数训练批次 batchsize 为32，训练 500 个 epoch，初始学习率为 0.001，选择使用路面病害测试集对模型进行测试。2 嵌入式路面病害检测平台2.1 嵌入式 Jetson TX2 平台在低功耗的情况下，Uddin M I8训练 SSD 目标检测模型部署到嵌入式平台 NVIDIA Nano 上，模型与系统部署取得了显著的效果。张上9实现了 YOLOv5 模型与 Jetson Nano 嵌入式平台融合，达到了在 20 W 的环境下满足实时的交通标志检测速度。可见，基于嵌入式平台部署深度学习模型是有效可行的。为了摆脱训练得到的路面病害检测模型对大量算力、内存和电量的依赖，结合实际路面病害检测的应用场景与需求，选用 Jetson TX2 嵌入式平台部署路面病害检测深2023 年第 9 期114计算机应用信息技术与信息化度学习模型，如图 3 所示。图 3 NVIDIA Jetson TX2 实物图NVIDIA Jetson TX2 配有 256 个 NVIDIA CUDA 核心，尺寸小巧，支持复杂的深度神经网络，且具有低功耗模式（7.5 W）和高功耗模式（15 W），可以满足在实际路面病害检测环境中的性能需求。2.2 TensorRT 优化方法训练得到的深度学习路面病害检测模型的张量为 32 位浮点数的精度，会使得内存占用和延迟较高。采用 TensorRT 可提升大约 15 倍的网络吞吐量10且推断功耗可降低 55%11，因此可以在保证准确率的情况下，通过将路面病害检测模型量化为 FP16 来更大限度地提高吞吐量。同时，路面病害检测模型进行推理时，模型网络的各个层会进行函数的调用与执行，函数的频繁调用会使用更多的时间。TensorRT 进行层级融合优化，包括垂直融合和水平融合两种方式12，如图 4 所示。（a）垂直融合（b）水平融合图 4 TensorRT 结构优化对路面病害检测模型水平融合可以把几个输入相同的张量和执行相同操作的层融合，垂直融合可以把结构相同但权值不同的层合并成一个更宽的层，将 CONV 层、BN 层或偏移层、激活层整合为一个 CBR 层，从而降低了网络的深度和宽度，并且可以减少对模型内部函数的调用，提升推理速度。2.3 模型转换流程为实现嵌入式平台的路面病害检测模型的快速推理，本文进行了基于 TensorRT 的路面病害检测模型引擎的优化转换，流程如图 5 所示。NetworkDefinition(WTS/ONNX)BuilderEngineRuntimePytorchPytorchTensorFlowTensorFlowCaffeC+APIPython APIOptimizationParametersSerializeDeserializeInputTensorsOutputTensors图 5 模型转换流程TensorRT 将路面病害检测模型解析后，与 TensorRT 中对应的层进行一一映射。首先创建一个 builder，然后使用builder 创建模型张量，并加载路面病害目标检测模型，并创建模型填充网络。其次分析病害检测模型，确定输出张量，进一步创建路面病害检测引擎并进行引擎序列化。最后，反序列化路面病害检测引擎并创建运行，然后执行推理与后处理操作。3 实验及分析3.1 病害目标检测模型加速及对比在嵌入式平台 Jetson TX2 进行推理加速实验，配置操作系统为 Ubuntu18.04.6 LTS，环境配置有 CUDA10.2、Cudnn8.2、Jetpack4.6.1、TensorRT8.2.1.8、DeepStream6.0.1等。分别使用训练得到的 YOLOv5n、s、m、l 和 x 五种模型进行模型转换得到优化后的 engine 模型，分别对验证集进行推理，获得目标类别的 mAP 与推理速度，结果如表 1，YOLOv5 的五种模型对横向 D00、纵向 D10 和网状裂纹 D20以及井盖 D50 的检测效果最好，其中 YOLOv5l.pt 模型的mAP 最高，为 91.4%，其中 YOLOv5n.pt 模型的 mAP 最低，为 87.3%；进行 TensorRT 优化转换得到引擎模型后，相较于原模型精度下降很少，但速率均有所提高，其中 YOLOv5n.engine 模型检测速度最快，为 25.2 ms，较原模型检测速度提高了 42.1%，但检测精度低，YOLOv5l 模型虽精度高，但检测速度较慢，不满足部署到低功耗的 Jetson TX2 嵌入式平台进行检测。因此选择兼顾准确率与轻量化的 YOLOv5s 作为病害目标检测模型，其引擎模型检测速度达到 30.7 ms，可以满足嵌入式平台实时检测的要求。2023 年第 9 期115计算机应用信息技术与信息化表 1 模型测试结果nsmlxptengineptengineptengineptengineptengineD00/%90.589.592.092.091.191.290.790.691.591.4D10/%92.491.793.993.092.792.993.894.592.592.4D20/%96.696.896.095.995.495.694.494.994.294.1D40/%79.579.685.685.589.590.591.590.687.487.4D50/%87.485.995.896.095.495.396.496.195.895.7D51/%77.476.180.480.478.277.981.480.777.376.3mAP/%87.386.690.790.590.490.691.491.289.889.6速度/ms43.525.247.330.798.468.4172.0 123.8 308.3 222.5优化/%42.135.130.528.027.83.2 嵌入式平台部署为验证病害检测模型应用的可能性与效果，将 YOLOv5s路面病害目标检测模型部署在低功耗嵌入式平台 Jetson TX2，选用若干测试集图像进行测试，达到了理想的检测结果，如图 6 所示。进一步在实际路面环境中，使用嵌入式平台 Jetson TX2 进行路面病害检测的实际应用测试，检测结果如表 2，在无阴影遮挡的路面环境中，低功耗的嵌入式平台路面病害漏检率低至 0.13%，检测效果较为理想。图 6 Jetson TX2 平台病害检测结果表 2 嵌入式平台部署检测结果是否有阴影漏检率道路 1是1.00%道路 2否0.13%4 结论本文为解决目前深度学习的路面病害检测方法存在应用落地难、成本高问题，提出了基于 Jetson TX2 的路面病害检测应用方法。对比 YOLOv5 的 n、s、m、l 和 x 五种网络结构，训练路面病害目标检测模型；采用 TensorRT 方法进行模型转换，进行模型优化与加速推理；在嵌入式平台 Jetson TX2 上，YOLOv5s 模型兼顾准确率和检测速度，其引擎模型推理平均速度较原模型提高了 35.1%，每帧检测速度达到了 30.7 ms，引擎模型推断精度达到了 90.5%，实现了对路面病害精准识别，满足了在路面实际检测速度要求。在实际路面环境下的结果表明，在一定车速下基于Jeston TX2 的路面病害检测漏检率低至 0.13%，在降低了检测成本的同时实现了深度学习模型的落地应用，并提高了路面病害检测效率与自动化程度，具有一定的应用前景。参考文献：1 赵珊珊,何宁.基于卷积神经网络的路面病害检测 J.传感器与微系统,2017,36(11):135-138.2 GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich feature hierarchies for accurate object detection and semantic segmentationC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH:IEEE,2014:580-587.3 肖力炀,李伟,袁博,等.一种改进型 Mask R-CNN 模型的路面病害识别方法 J/OL.武汉大学学报(信息科学版),2023,48(5):765-776.4 LIU W,ANGUELOV D,ERHAN D,et al.SSD:single shot multibox detectorC/European Conference on Computer Vision.Cham:Springer,2016:21-37.5 REDMON J,DIVVALA S,GIRSHICK R,et al.You only look once:unifi ed,real-time object detectionC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA:CVPR,2016:779-788.6 王鑫,李琦.基于深度学习的路面缺陷自动检测系统 J.光电子激光,2022,33(11):1165-1172.7 余加勇,刘宝麟,尹东,等.基于 YOLOv5 和 U-Net3+的桥梁裂缝智能识别与测量 J.湖南大学学报(自然科学版),2023,50(5):65-73.8 UDDIN M I,ALAMGIR M S,RAHMAN M M,et al.Ai traffi c control system based on deepstream and iot using nvidia jetson nanoC/2021 2nd International Conference on Robotics,Electrical and Signal Processing Techniques(ICREST).DHAKA,Bangladesh:IEEE,2021:115-119.9 张上,王恒涛,冉秀康.基于 YOLOv5 的轻量化交通标志检测方法 J.电子测量技术,2022,45(8):129-135.10 周立君,刘宇,白璐,等.使用 TensorRT 进行深度学习推理 J.应用光学,2020,41(2):337-341.11 JEONG E J,KIM J,HA S.TensorRT-Based framework and optimization methodology for deep learning inference on jetson boardsJ.ACM transactions on embedded computing systems(TECS),2022,21(5):51-77.12 SONG Z,SHUI K.Research on the acceleration effect of tensorrt in deep learningJ.Scientific journal of intelligent systems research volume,2019,1(1):45-50.【作者简介】张宇昂(2000)，男，内蒙古呼和浩特人，硕士研究生，研究方向：嵌入式与人工智能，email:。李琦(1973)，男，内蒙古包头人，通信作者（email：），教授/硕士，研究方向：智能优化控制和工业远程控制。（收稿日期：2023-03-08 修回日期：2023-04-03）