基于深度学习的钻爆法隧道炮孔孔位智能识别研究.pdf

基于深度学习的钻爆法隧道炮孔孔位智能识别研究张兴长，张奇？，孙子正？（1.中电建路桥集团有限公司，北京海淀10 0 0 8 9；2.山东大学齐鲁交通学院，山东济南2 50 0 14）摘要：钻爆法是当前隧道及地下空间施工中常用的施工方法。其中，装药环节劳动强度大、危险性高。因此，迫切需要提高装药环节的自动化水平。为了实现炸药的自动装填，研究了基于深度学习的目标检测算法在炮孔识别方面的应用。将隧道施工现场采集的炮孔图片制成数据集，采用FasterR-CNN与YOLOv5两种算法在数据集上进行训练和测试，对比了两种算法在各项性能上的优劣。FasterR-CNN的检测速度为110 ms，准确率为9 8.3%，模型权重文件大小为1000MB；YO LO v 5算法检测速度为40 ms，准确率为9 7.3%，模型权重文件大小为54MB。综合考虑，YOLOv5算法检测速度较快，权重文件较小，更适合在实际工程中使用。关键词：钻爆法；深度学习；炮孔识别；FasterR-CNN；YOLOv5中图分类号：U25Intelligent identification of the blastinghole in drilling and blasting methodfor tunnel based on deep learningZHANG Xingchang,ZHANG Qi,SUN Zizheng(1.Power China Road Bridge Group Co.,Ltd,Beijing 100089 China;2.School of Qilu Transportation,Shandong University,Shandong JinanAbstract:Drilling and blasting method is a commonly usedmethod in the construction of tunnels and undergroundspaces.The filling of explosives is labor-intensive anddangerous.It is urgent to improve the automation level of收稿日期：2 0 2 2-0 3-2 2作者简介：张兴长（19 7 7 一），男，陕西渭南人，高级工程师。-92-the charging link.In order to realize the automatic filling ofexplosives,this paper studies the application of the targetdetection algorithm based on deep learning in explosive holesdetection.Images are collected at the actual engineering siteand made into a data set.Two algorithms,Faster R-CNN andYOLOv5,were used for training and testing on the data set,and the advantages and disadvantages of the two algorithmswere compared in various performances.The detection speedof Faster R-CNN is 110 ms,the accuracy rate is 98.3%,andthe model weight file size is 1 000 MB.The detection speed ofthe YOLOv5 algorithm is 40 ms,the accuracy rate is 97.3%,and the model weight file size is 54 MB.Taken together,YOLOv5 is more suitable for use in practical engineering.Key words:drilling and blasting method;deep learning;explosive holes detection;Faster R-CNN;YOLOv50引言文献标识码：A随着经济的发展以及技术水平的提高，我国隧道和地下工程的数量和规模大大增加，通常根据地质条件的不同选择不同的施工方法。由于钻爆法施工简便、灵活、成本低、适应性好，应用范围十分广泛。但是，现阶段的钻爆法施工缺乏专业的自动化装备，需要专业的操作人员手动将雷管和炸药装填到炮孔内，耗时长且危险性高，实际工程中迫切需要实现炸药的自动装填。钻爆法炸药自动装填的首要任务是实现对炮孔孔位的识别。现有的装药机械大多数还要依靠操作250014China)人员手动寻找炮孔，智能化程度较低。提出一种基于深度学习目标检测算法的炮孔识别方法，可以通过对样本的学习使得系统自动获得炮孔的特征，以实现对炮孔的自动识别。随着人工智能技术的进步，目标检测技术被广泛应用于各行各业中。现有目标检测技术大概分为传统的识别方法和基于深度学习的识别方法。传统的识别方法通过尺度不变特征转换（Scale-invariantfeature transform或SIFT）1 或局部二值模式（Local山东交通科技BinaryPatterns或LBP）2】等方式手动提取图片的特征，然后输人到支持向量机等分类器中分类。传统的识别方法依赖研究人员的经验，需要操作人员主观选择算法参数，缺乏对环境的适应性。隧道内环境复杂、光线昏暗、干扰多，传统的识别方法很难用于隧道内的识别。2006年，HINTON3 首先提出了深度学习的概念。近年来，随着计算机硬件技术的不断提高，深度学习在理论及实验层面都有了长足的进步。2 0 12 年，ALEX提出了AlexNet 4网络，在ImageNet Large ScaleVisual Recognition Challenge（ILSVR C）图像识别大赛中获得冠军。自此，针对卷积神经网络（CNN）的研究开始活跃起来。随后又陆续出现了VGGNet5、GoogLeNet6和ResNet7等网络结构。这些网络结构是算法的主干部分，用来提取待训练图像的特征。在交通工程领域，目标检测算法应用最多的是在病害检测领域。杨郁康【8 利用FasterR-CNN算法，使用了VGG-16和ResNet-50两种不同的网络结构，对隧道衬砌的裂缝进行了识别。方广欣 9 利用改进的YOLOv5算法，对地铁隧道裂缝进行了检测。ZHU等10】利用无人机捕获路面裂缝图像，使用了多种目标检测算法对路面裂缝进行检测。在隧道施工方面，郭洪雨等111利用ResNet网络，对钻爆法的炮孔留痕率进行了检测。除了对RGB图像的识别外，许多研究者也将目标检测算法应用到了雷达图像的检测当中去。龚致民12 使用改进的FasterR-CNN算法，对探地雷达的图像进行了识别。冯德山和杨子龙13 利用FasterR-CNN和YOLOv3两种算法对隧道衬砌结构的雷达图像进行检测，提高了病害检测的准确率和效率。以上研究主要集中在隧道以及路面的病害检测上。在对炮孔的识别方面，国内外利用目标检测算法对炮孔识别的研究都比较匮乏。张也【14 使用FasterR-CNN算法与VGG-16网络对炮孔进行识别，2023年第5期并提出了一种可能的装药机器人方案。张万志【15 提出了在隧道中对于炮孔识别的几种影响因素，并采用轻量化SqueezeNet网络结构，提出了一种改进的FasterR-CNN算法，对隧道内的炮孔进行识别。总体来说，对于隧道中炮孔的识别，目前仍存在识别精度低、鲁棒性差等问题，缺乏一种成熟的识别方法。选择近年新兴的YOLOv5算法作为炮孔识别的工具，并于与FasterR-CNN算法进行比较，研究二者在炮孔识别的速度与准确性等方面的差异。1图像采集与预处理从隧道施工期间的真实场景中采集图像。图像由智能手机HUAWEIMate40Pro拍摄，采集图像的分辨率为40 9 6 30 7 2。共采集图像10 0 0 余张，见图1。由于数据采集量较少，本研究对图片进行了处理来增加训练集的数量和通用性。首先删除采集过程中人为因素造成的模糊不清的图片。通过镜像、旋转等方式模拟图片获取过程中的随机性，并达到补充图片数量的目的。由于采集的单张图片中炮孔数量很多并且目标非常小，不利于后续模型的训练，本研究对图片进行了分割。另外，本研究采用的算法都基于卷积神经网络，在训练过程中需要对图像进行卷积运算，卷积运算的卷积核具有一定的大小，为了方便卷积核进行卷积运算，故在图片进行分割后将大小调整为640640像素，最终得到图片1140 张。根据深度学习的惯例，将图像以6：2：2 的比例分为训练集、验证集和测试集。处理后的图片见图2。图1隧道图像图2 处理后图片-93-张兴长，张奇，孙子正：基于深度学习的钻爆法隧道炮孔孔位智能识别研究使用目标检测算法时，首先采用Lableimg工具对图像进行标注。Labelimg是一个基于Python的开源跨平台工具，可对目标区域进行标注，并以规定的格式导出一个与原图片名称相同的标注文件。其中YOLOv5算法一般使用txt格式的标注文件，FasterR-CNN算法一般使用xml格式的标注文件。2试验设置2.1YOLOv5算法YOLO算法全称You only look once16,，它是一种单阶段的目标检测算法，与R-CNN（R e g i o n s w i t hConvolutionalNeural Networks）系列算法相比，其具有训练时间短、检测速度快等优点。目前的YOLO算法有YOLOv1到YOLOv5五个版本，YOLOv5在之前的版本的基础上做出了一些重要的改进，使得精度和速度都有所上升。YOLOv5基于PyTorch框架开发，包括Backbone网络（主干部分）、Neck网络和Head网络三大部分。其中，Backbone网络负责特征提取；Neck网络负责对特征进行混合与组合，并且把这些特征传递给预测层；Head网络负责进行最终的预测输出。YOLOv5算法的结构见图3。BackBoneConcalSPPBoileNeckCspConvUpSampleBotleNeckCsPConcatBotleNeckCspBotleNeckCsPConv图3YOLOv5算法网络结构根据Backbone网络中参数量的不同，YOLOv5算法的网络结构分为YOLOv5s、YO LO v 5m、YO LO v 5l、YOLOv5x四种，参数量依次由少到多。由于参数量越少，实时性越好，考虑到工程实际应用中实时性的要求，本研究采用YOLOv5s网络。YOLOv5算法的试验环境使用Windows1164位操作系统，显卡为NVIDIAGeForceGTX1650。显存大小为4GB，C PU 配置为Intel（R）C o r e（T M）i 5-9300HF，CU D A 版本为11.2，Pytorch版本为1.10.1,Python语言环境为3.8。参数设置方面，本研究采用默认的超参数设置，这些超参数是针对VOC数据集训练优化得到的。其-94-中初始学习率（1r0）为0.0 0 32，余弦函数动态降低学习率系数（lrf）为0.12，动量因子为（momentum）0.843，权重衰减（weight_decay）为0.0 0 0 36。训练参数方面，训练批大小（batchsize）设置为8，训练轮次（epochs）设置为50 0。2.2FasterR-CNN算法Faster R-CNN17 算法是一种两阶段的目标检测算法。该算法的优点是具有区域候选网络（RPN）可以提供区域建议，可以提高目标检测框的生成速度。FasterR-CNN分为四个部分：卷积网络（Convlayers）、区域候选网络（RegionProposalNetworks）感兴趣区域池化网络（RoiPooling）和目标分类网络（C la s s i f i c a t i o n）。卷积网络用来提取图片的特征；区域候选网络用来生成候选区域；图片特征及候选区域会被输人到感兴趣区域池化网络，感兴趣区域池化网络会综合两部分信息生成建议特征图（proposalfeaturemaps）；最后输人到分类网络中进行分类。FasterR-CNN的算法结构见图4。建议特征图感兴趣区域NeckHeadBotleNeckCspConvConvConcatBotleNeckcsPConyUpSampleConcat+BotleNeckCsP分类网络池化网络图片卷积网络(VGG-16)图4FasterR-CNN算法结构Conv卷积网络部分，通常有GoogLeNet、VG G Ne t、ResNet等多种网络结构。其中，VGGNet采用了较小的卷积核，收敛速度较快，故本研究选择VGG16网Conv络结构。FasterR-CNN算法的试验环境使用Windows1164位操作系统，显卡为NVIDIAGeForceGTX1650。显存大小为4GB，CPU 配置为Intel（R）Co r e（T M）i5-9300HF，C U D A 版本为11.2，采用TensorFlow框架，TensorFlow版本为1.3.0，Python语言环境为3.5。参数设置方面，初始学习率（1r0）为0.0 0 1，动量因子为（momentum）0.9，权重衰减（weight_decay）为0.0 0 0 5，训练批大小（batch size）设置为8。送代次数（iteration）设置为40 0 0 0。3试验结果分析目标检测算法的常用性能评价指标主要有检测速度、准确率、精确率、召回率、精确率-召回率曲线和平均精确率（AP）等。表1为目标检测算法的混淆矩阵，定义了真阳性结果图片区域候选网络候选特征区域山东交通科技（T P）、假阳性（FP）、假阴性（FN）和真阴性（TN）的概念。真实值正样本负样本2023年第5期由于阴影导致炮孔形状产生变化，所以未能识别出来。图6（b）中也有同样的问题。图6（c）中误将左下角阴影识别为炮孔，但置信度较低，实际应用中表1混淆矩阵可以根据置信度进行筛选。预测值正样本负样本真阳性(TP)假阴性(FN)假阳性(FP)真阴性(TN)0.694结语（a）检测结果1精确率表示预测值为正样本中预测正确的比例，图6 YOLOv5算法检测结果用来衡量分类器分出正样本的准确率。定义为：TP精确率=TP+FP仅依靠精确率无法正确表示模型的性能。因此还需要另一个评价指标：召回率。召回率表示所有正样本中被正确预测出来的比例。定义为：TP召回率=TP+FN一般来说，精确度和召回率两个性能指标是负相关的。在一项指标上升时，另一项指标会下降。所以一般使用精确度-召回率曲线来评价目标检测模型的性能。精确度-召回率曲线与坐标系围成的面积为平均精确率。该面积的大小与检测模型性能好坏成正比。根据以上的定义，图5展示了两种算法的精确率-召回率曲线。其中直角坐标系的横坐标为召回率，纵坐标为精确率。从图5可以看出，这两种算法在炮孔检测方面拥有较高的性能，平均准确率达到了0.9 5以上。1.051.000.950.90+0.8520.800.750.700.650.600图6 展示了使用YOLOv5算法训练出的模型在测试集上的测试结果。从图6 可以看出，虽然掌子面中存在岩石阴影、引信、光照变化等因素影响，但是几乎所有的炮孔都能被正确识别。置信度普遍在0.8以上。表示模型有8 0%以上的把握认为该目标是炮孔。图6（a）中右下角的炮孔未被识别出来，可能是(b）检测结果2(1)图7 展示了使用FasterR-CNN算法训练出的模型在测试集上的测试结果。可以看到，与YOLOv5算法相比，置信度方面相差无几，都在0.8 左右。图7（a）中存在与图6 中相同的问题，但在图7（c）中表现较好，未把阴影误识别为炮孔。（2)0.718hole0.875ole:0.842(a)检测结果 1（b）检测结果2图7 FasterR-CNN检测结果示例经过人工统计，在测试集共计二百余张图片中，YOLOv5漏检5例，错检3例；FasterR-CNN算法漏检3例，错检2 例。准确率分别达到了9 7.3%和9 8.3%，可以满足实际工程需要。检测速度方面，由于FasterR-CNN为两阶段检测算法，检测速度上要低于YOLOv5算法。FasterR-CNN算法检测单张图片的时间为110 ms，YO LO v 5算法检测单张图片的时间为40 ms。模型权重文件大小方面，由于网络结构的差异，FasterR-CNN算法的模型权重文件达到了10 0 0 MB，而YOLOv5算法只有54MB。小的权重文件对于训练模型向其他系统中进行迁移学习或者进行检测都十分方便。0.20.4-Faste R-CNN图5米精确率-召回率曲线（c）检测结果3(c)检测结果30.60.8召回率-YOLOv51.01.2研究了YOLOv5和FasterR-CNN两种算法在炮孔识别方面的表现。（1）基于YOLOv5和FasterR-CNN两种算法的炮孔识别是可行的，检测速度方面YOLOv5更胜一筹，准确率方面则是FasterR-CNN表现更好。两种算法在检测速度和准确度上基本可以满足工程实际的需要。（2）综合训练速度以及权重文件大小的考虑，YOLOv5算法准确率相比于FasterR-CNN算法虽然略低，但足够满足实际工程需求，-95-张兴长，张奇，孙子正：基于深度学习的钻爆法隧道炮孔孔位智能识别研究并且检测速度快，权重文件小，便于迁移学习或使用，可能更加适合实际工程。虽然研究的两种算法具有良好的性能，但是仍然具有很大的改进空间。（1）需要进一步扩充数据集，增加训练图片的数量，从而提高模型的鲁棒性和泛用性。（2）只研究了两种算法和各自对应的一种网络结构。对于炮孔这种小目标的检测，本文研究的算法和网络结构可能并不是最佳的选择。（3）炮孔的识别是为了进行自动化的炸药装填，炮孔识别后如何准确地获得炮孔的三维坐标信息，还有待进一步的研究。参考文献：1 LOWE D G.Distinctive image features from scale-invariant keypoints J.International journal of computervision,2004（6 0）:9 1-110.2 OJALA T,PIETIKAINEN M,HARWOOD D.Acomparative study of texture measures with classification basedon featured distributions J.Pattern recognition,1996,29(1):51-59.3 HINTON G E,SALAKHUTDINOV R R.Reducing thedimensionality of data with neural networks J.science,2006,313（57 8 6）:50 4-50 7.4 KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neuralnetworks J.Communications of the ACM,2017,60（6):84-90.5 HE J,LI S,SHEN J M,et al.Facial expressionrecognition based on VGGNet convolutional neural networkC/2 0 18 Ch i n e s e a u t o m a t i o n c o n g r e s s（CA C).IEEE,2018:4146-4151.6 IBRAHIM Y,WANG H,ADAM K.Analyzing thereliability of convolutional neural networks on gpus:Googlenetas a case study C/2020 International Conference onComputing and Information Technology（ICCIT-1441）.IEEE,2020:1-6.7O O NO K,SU ZU K I T.A p p r o x i m a t i o n a n d n o n-parametric estimation of ResNet-type convolutional neuralnetworks C J/International conference on machine learning.PMLR,2019:4922-4931.8 杨郁康.基于FasterR-CNN的隧道衬砌裂缝检测研究D.太原：太原科技大学,2 0 2 0.9 方广欣.基于YOLOv5的地铁隧道裂缝检测技术研究D.合肥：合肥工业大学,2 0 2 1.10 ZHU J,ZHONGJ,MA T,et al.Pavement distressdetection using convolutional neural networks with imagescaptured via UAV J.Automation in Construction,2022(133):103991.11郭洪雨，陈宝林,王宇，等.基于ResUNet网络的隧道围岩图像炮孔留痕检测方法J水利与建筑工程学报,2 0 2 0,18（6):158-16 4.12 龚致民.公路结构病害探地雷达图像智能识别与信号处理研究D.重庆：重庆大学，2 0 2 0.13冯德山，杨子龙.基于深度学习的隧道衬砌结构物探地雷达图像自动识别J.地球物理学进展，2 0 2 0,35(4):1552-1556.14张也。智能炸药填装机器人炮孔识别与可行区域规划相关技术研究D.鞍山：辽宁科技大学,2 0 2 0.15张万志.岩质隧道炮孔图像识别算法及光面爆破参数优化研究D济南：山东大学,2 0 19.16 REDMON J,DIVVALA S,GIRSHICK R,et al.Youonly look once:Unified,real-time object detection C/lProceedings of the IEEE conference on computer vision andpattern recognition.2016:779-788.17 REN S,HE K,GIRSHICK R,et al.Faster R-CNN:Towards real-timeobject detection with region proposalnetworks.IEEE Trans Pattern Anal Mach Intell,2016,39(6):1137-1149.（上接第7 0 页）参考文献：1灼识咨询.中国物流行业蓝皮书【R】.北京：灼识咨询，2 0 2 1,2 王喜富.大数据与智慧物流M.北京：清华大学出版社,2 0 15.3吴江，基于DGA算法的智能物流车辆集配平台的研究与实现D.镇江：江苏大学,2 0 2 2.【4田铖.城市配送中心多目标选址与车辆调度优化研究D.重庆：重庆邮电大学,2 0 2 0.【5段佳君，王幼松，黄文炜，等.基于客户需求的智慧交通产业园选址意愿J】.交通科技与经济，2 0 2 2,2 4（3）：30-31.-96-