基于机器视觉的混凝土泵车支腿识别和开度检测方法.pdf

第21卷第4期2023年8月Vol.21 No.4Aug.2023中 国 工 程 机 械 学 报CHINESE JOURNAL OF CONSTRUCTION MACHINERY基于机器视觉的混凝土泵车支腿识别和开度检测方法高荣芝1，2，徐翔1，2，尹君1，2，李淇阳1，2，符伟杰1，2（1.国家混凝土机械工程技术研究中心，湖南 长沙 410205；2.中联重科股份有限公司，湖南 长沙 410205）摘要:混凝土泵车支腿的合规支撑是建筑施工安全的重要保障之一，而机手的违规支腿支撑操作经常得不到监控，同时支腿开度目前依赖于高成本的传感器来检测。因此，以车载视频监控系统为载体，提出了一种基于机器视觉的混凝土泵车支腿开度检测方法。首先，为了对泵车支腿的目标进行实时检测，基于YOLOV3设计了一种改进的轻量化目标检测模型YOLOV3-s。其次，为了对泵车支腿的开度进行快速计算，基于数据拟合对支腿的移动轨迹建立数学模型。最后，通过某型号泵车进行试验，泵车支腿开度值为100%时支腿的平均开度检测误差仅为1.2和1.3。试验表明：方法能够高效检测泵车支腿开度，同时为泵车支腿支撑安全提供保障。关键词:混凝土泵车；目标检测；数据拟合；最小二乘法；开度检测中图分类号:TH 137 文献标志码:A 文章编号:1672-5581（2023）04-0323-05Outriggers recognition and opening detection method of concrete pump truck based on machine visionGAO Rongzhi1，2，XU Xiang1，2，YIN Jun1，2，LI Qiyang1，2，FU Weijie1，2（1.Chinese National Engineering Research Center of Concrete Machinery，Changsha 410205，Hunan，China；2.Zoomlion Heavy Industry Science and Technology Co.，Ltd.，Changsha 410205，Hunan，China）Abstract：The compliant support of the concrete pump truck s outriggers is one of the important guarantees for the safety of construction.However，the illegal outrigger support operation of manipulator is often not monitored.At the same time，the opening of the outrigger is currently dependent on high-cost sensors to detect.Therefore，based on the vehicle video surveillance system as the carrier，this paper proposes a method for detecting the opening of the concrete pump truck s outriggers based on machine vision.Firstly，an improved lightweight target detection model YOLOV3-s is designed based on YOLOV3 in order to detect the targets of the front and rear outriggers of the pump truck in real time.Secondly，in order to quickly calculate the opening of the front and rear outriggers of pump truck，the data modeling of the moving trajectory of the outriggers was carried out based on data fitting.Finally，through the test of a certain type of pump truck，when the opening value of the pump truck s outriggers is 100%，the average opening detection errors of the front and rear outriggers are only 1.2 and 1.3.The test result show that the method can detect the outrigger opening of pump truck efficiently and provide security for the outrigger support of pump truck.Key words：concrete pump truck；target detection；data fitting；least square method；opening detection 随着国家基础设施建设加快，泵车在建筑施工场地的应用越来越广泛，预防安全问题是施工过程中最重要的任务之一1。泵车支腿的正常支撑状态是支撑安全的必要条件之一。由于高精度基金项目：2022年湖南省重点研发计划项目（2022GC2056）作者简介：高荣芝（1981），男，高级工程师，硕士。E-mail：第21卷中 国 工 程 机 械 学 报传感器的价格昂贵，现阶段仍存在许多泵车未进行搭载2，施工过程中机手对支腿支撑的操作也时常得不到管控。因此，开发一种自动检测泵车支腿开度的技术，对泵车施工安全具有重要的实际意义。针对当前常规泵车搭载支腿检测传感器成本高昂且无直观记录功能的问题，本文以两侧均搭载摄像头的某型号泵车为研究对象，提出了一种能够实时检测泵车支腿并快速计算支腿开度的方法。该方法基于 YOLOV33设计了一种改进的轻量化模型YOLOV3-s，对泵车的支腿进行实时检测。基于数据拟合对支腿的移动轨迹进行数学建模，对支腿开度进行快速计算。本文通过试验对比分析了改进模型的支腿目标检测效果和基于数据拟合的开度检测效果，试验结果验证了该方法的有效性和准确性。1 基于YOLOV3的轻量化泵车支腿目标识别算法 本文基于YOLOV3设计了一种改进的轻量化模型 YOLOV3-s，用于快速且准确地识别泵车支腿目标。如图 1所示，YOLOV3-s采用了一个轻量级的骨干网络，将DarkNet53剪枝成30层，骨干网络分为5个基础块，每个基础块由3个残差块所组成4，可以避免对检测目标做小规模无用的卷积操作，因为无用的卷积操作可能导致在模型的更深层中特征图丢失有效信息5。除了对网络层进行剪枝之外，还对骨干网络深层卷积的通道数进行减少，由原来最大通道数1 024修改为512，可以精简模型并加快推理速度。此外，在特征提取阶段，使用非对称卷积来捕获支腿目标的空间特征6。在最后3个基础块中，每个残差块都添加了一个13卷积和31卷积，目的是更加关注卷积核的空间特征提取能力，可以无缝对接当前现有的残差块，而无需增加额外的推理耗时和额外的超参数。假设输入特征图为L，使用K1和K2卷积核先后进行卷积操作，然后将结果进行相加。此输出与先将卷积核逐点相加后再进行卷积的结果是一致的，公式如下：LK1+LK2=L(K1K2)（1）CBL-S模块如图1所示，共包含3个分支的卷积层，卷积核大小分别为33、31和13，均采用相同的输入。根据分支之间可以共享同一个滑动窗口的特性，将每个分支分别通过归一化处理和激活之后进行累加，融合的结果可以等价为在原来标准卷积核的基础上增强了正交位置的特征表示。最后，在检测头阶段，通过横向拼接骨干网络中的第3阶段和第4阶段的输出来实现跳跃连接，图1YOLOV3-s模型框架Fig.1YOLOV3-s model framework324第4期高荣芝，等：基于机器视觉的混凝土泵车支腿识别和开度检测方法分别对应于4、8和16倍的下采样特征映射，提取出更健壮的定位特征。由于拼接后的特征映射具有不同的分辨率，通过将拼接后的特征图进行2倍和4倍的上采样来提升输出特征图的感受野大小，同时实现了浅层特征和深层特征的融合重构。2 基于数据拟合的泵车支腿开度检测算法 泵车在展开和收缩支腿的过程中，支腿末端在图像中对应点的横坐标均是唯一值。如图2所示，AE、BF、CG、DH分别表示泵车左前、右前、左后、右后支腿，假设该图中泵车支腿的支撑状态为全支撑状态；所谓全支撑是指泵车所有支腿均展开至最大角度，此时各个支腿的开度均为100%，其开度值定义如下：开度值=支腿实际展开角度支腿最大展开角度100%（2）在泵车车身两侧AC与BD之间各安装2个摄像头，可实时记录左右两侧前后支腿的位置。此外，为了获取泵车支腿的实际开度值，在A、B两位置各安装一个传感器，前支腿由AA（BB）位置伸长至AE（BF）位置的过程中A、B两位置的传感器可分别获取对应支腿展开的长度信息。在C、D两位置各安装一传感器，后支腿由CI（DJ）位置旋转至CG（DH）位置的过程中可分别获取对应支腿的旋转角度信息。泵车支腿摆腿和伸腿如图3所示。以图中摆腿为例构建数据模型，图像的左上角顶点为原点，创建上图所示像素坐标系xOy。泵车后支腿从DJ位置旋转至DG位置的过程中，安装在D位置的转角传感器实时记录了该支腿旋转到每个参考位置时支腿与车身的夹角值。通过安装在位置D处的转角传感器分别读取支腿旋转到p1、p2、p3、pn点位时支腿与车身的夹角值 y1，y2，y3，yn，然后在图3所示图像坐标系中分别获取p1、p2、p3、pn点位的横坐标值 x1，x2，x3，xn。由图可知，支腿在DJ位置旋转至DG位置的过程中（x1，y1）、（x2，y2）、（x3，y3）、（xn，yn）存在一一对应的关系，由此可以通过曲线拟合的方式找到（xi，yi）的函数关系，其中1in。针对曲线拟合问题最常用的优化方法为最小二乘法7，其代数解法是对i求偏导数，令偏导数为0后解方程组得到i，假设函数h（x）的矩阵表达式为h(x)=i=0nixi=0+1x1+2x2+nxn （3）h(x)=X（4）式中：X为mn维的矩阵，m为样本的个数，n为样本的特征数。J()=12(X-Y)T(X-Y)（5）式中：Y为样本的输出向量，维度为m1。式（6）为目标函数，对目标函数的向量求导取0，则的取值结果如式（7）所示：J()=XT(X-Y)=0（6）=(XTX)-1XTY（7）3 试验结果与分析 3.1数据集介绍本文试验所采用的支腿识别数据集共 9 950张。试验根据 8 1 1 的比例进行划分数据集，其中，训练集7 960张，验证集995张，测试集995张。3.2试验设置泵车支腿目标检测模型训练基于深度学习框架Pytorch，损失函数采用交叉熵损失函数：L=-1Ni=1Nj=1M(yjilogpji)（8）式中：N为样本的数量；M为类别的数量；yij为样本i的标签值，如果样本的真实类别等于j则取1，否图2泵车支腿全展Fig.2The outriggers of the pump truck are fully extended图3泵车支腿摆腿和伸腿Fig.3Pump truck outrigger swing and extend325第21卷中 国 工 程 机 械 学 报则取0；pij为样本i类别j的预测概率。优化器采用随机梯度下降，初始学习率为0.01，动量为0.9，权重衰减为0.000 1。学习率衰减采用Poly策略，最大迭代次数为200，能量因子为0.9。第i轮的学习率为Lri=Lr0()1-iimaxpower（9）式中：Lr0为初始学习率；imax为最大迭代打次数；上标power为能量因子。3.3评估标准为了定量的评估模型的检测效果，试验设置了几种常用的评价指标，分别是精确率、召回率、F1分数、平均精度（average precision，AP）、参数量和计算量。其中，AP是对不同召回率点上的准确率进行平均的结果，参数量是模型中的参数的总和，计算量是模型所需的计算次数，反映了模型对硬件计算单元的需求。精确率、召回率和F1分数评价指标的计算公式如下：P=TPTP+FP（10）R=TPTP+FN（11）F1=2PRP+R（12）式 中：P 为 精 确 率；R 为 召 回 率；真 正 例（true positives，TP）为被正确识别的正样本的数量；真反例（true negatives，TN）为被正确识别的负样本的数量；假真例（false positives，FP）为被错误识别为正样本的负样本数量；假反例（false negatives，FN）为被错误识别为负样本的正样本的数量。3.4泵车支腿目标检测算法试验结果与分析试验以YOLOV3和YOLOV3-tiny作为对比模型，从精确率召回率、AP值、F1值、参数量和计算量共六个维度来对比评价YOLOV3-s算法模型的性能。由 表 1 可 知，相 对 于 YOLOV3-tiny 模 型，YOLOV3-s的精确率、召回率、AP值和F1分数分别高出 1.7%、1.8%、1.9%和 3.4%。说明 YOLOV3-s 的特征提取模块能够在一定程度上提升对泵车支腿的识别能力，并没有以较大的精度损失作为模型剪枝的代价。由图4中可以看出，当置信度阈值在0.2至 0.8 之间时，YOLOV3-s 的 F1分数与 YOLOV3 相当，但两者均大于YOLOV3-tiny。当置信度阈值接近于1时，YOLOV3-s的F1分数甚至高于YOLOV3。由表2可知，相对于YOLOV3模型，YOLOV3-s的参数量减少了83.9%，计算量减少了76.9%。相对于YOLOV3-tiny模型，YOLOV3-s的参数量仅高出5.9 MB，计算量仅高出9.6 BFLOPs。实际测试结果中，泵车前支腿和后支腿的目标检测结果如图5和图6所示。支腿检测框包络完整，能够确定支腿中心位置，便于计算支腿的开度。表1不同模型测试结果对比Tab.1Comparison of test results of different models模型YOLOV3YOLOV3-tinyYOLOV3-sP0.9810.9660.983R0.9860.9560.974AP0.9890.9640.983F10.9850.9430.977图4不同模型测试结果的F1分数曲线Fig.4F1 score curves of different model test results表2模型参数量和计算量对比Tab.2Comparison of model parameter amount and calculation amount模型YOLOV3YOLOV3-tinyYOLOV3-s参数量/MB246.333.739.6计算量/BFLOPs65.85.615.2图5泵车前支腿的目标检测结果示例图Fig.5Example of object detection results for the front outriggers of pump truck图6泵车后支腿的目标检测结果示例图Fig.6Example of object detection results for the rear outriggers of pump truck326第4期高荣芝，等：基于机器视觉的混凝土泵车支腿识别和开度检测方法3.5泵车支腿开度检测算法试验结果与分析根据测试数据中泵车支腿目标检测的结果，在5种不同的支腿开度（20%、40%、60%、80%和100%）情况下，本文基于数据拟合的方法分别计算得到泵车前支腿与后支腿的开度值，并同时通过实际支腿开度计算平均开度检测误差。泵车前支腿和后支腿的平均开度检测误差对比见表3和表4，其中，泵车前支腿开度值为20%时平均开度检测误差仅为 0.6，泵车前支腿开度为100%时平均开度检测误差为1.2。泵车后支腿开度值为20时平均开度检测误差达到2.1，而泵车后支腿开度值为 100%时平均开度检测误差为 1.3。由于泵车前支腿和后支腿的实际移动轨迹和目标大小与特征等有较大区别，因此前支腿和后支腿的开度值检测误差也存在一定的差异。综合上述的试验测试结果，本文所提出基于数据拟合的支腿开度检测方法在泵车支腿全展开时可以保持较高的精度，前后支腿的平均开度检测误差分别为 1.2和 1.3。针对实际建筑施工场景而言，该方法能够自主检测泵车支腿开度并辅助判断支撑状态。4 结语 针对混凝土泵车支腿开度的检测依赖于昂贵的传感器且机手违规的支腿支撑操作无法实时受到监控的问题，本文提出了一种基于机器视觉的混凝土泵车支腿识别和开度检测方法。首先，为了对泵车支腿目标进行实时检测，本文基于YOLOV3改进设计了一种轻量化的目标检测模型YOLOV3-s，参数量减少了83.9%，计算量减少了76.9%。其次，为了对泵车支腿开度进行快速计算，基于数据拟合对支腿移动轨迹建立数学模型。最后，通过某型号泵车进行试验，测试结果中泵车支腿开度值为100%的情况下，前后支腿的平均开度检测误差仅为 1.2和1.3。试验结果表明，本文提出的泵车支腿开度检测方法不仅能够高效检测泵车支腿目标，同时能够实时计算出泵车支腿的开度。该方法为泵车支撑安全提供一种新的解决方案，未来可批量应用搭载于多型号泵车上，保障建筑施工过程中的支腿支撑安全。参考文献：1刘浩浩.高层建筑机械化施工安全风险评价 D.南京：南京林业大学，2018.LIU H H.Buildings safety risk assessment of mechanized construction of high rise D.Nanjing：Nanjing Forestry University，2018.2焦新泉，郑高铭，贾兴中.基于拉线位移传感器的三维空间动态位移测量 J.电子器件，2020，43（3）：619-623.JAO X Q，ZHENG G M，JIA X Z.Based on cable displacement sensors dynamic displacement measurement in space J.Chinese Journal of Electron Devices，2020，43（3）：619-623.3REDMON J，FARHADI A.Yolov3：an incremental improvement J.arXiv preprint arXiv：1804.02767，2018.4WU Z，SHEN C，VAN DEN HENGEL A.Wider or deeper：revisiting the resnet model for visual recognitionJ.Pattern Recognition，2019，90：119-133.5常金鹏.基于轻量化卷积神经网络的实时目标检测研究与应用 D.徐州：中国矿业大学，2020.CHANG J P，Convolutional neural network detection based on lightweight research and application of real-time object D.Xuzhou：China University of Mining and Technology，2020.6DING X，GUO Y，DING G，et al.ACNET：strengthening the kernel skeletons for powerful CNN via asymmetric convolution blocksC/Proceedings of the IEEE/CVF International Conference on Computer Vision.2019：1911-1920.7高秋英，王丽丽，王荣忠.最小二乘法曲线拟合及优化算法研究 J.工业控制计算机，2021，34（11）：100-101.GAO Q Y，WANG L L，WANG R Z，Research on least square curve fitting and optimization algorithmJ.Industrial Control Computer，2021，34（11）：100-101.表3泵车前支腿平均开度检测误差对比Tab.3Comparison of the detection error of the average opening of the front outrigger of the pump truck支腿开度/%20406080100支腿角度/（）9.218.427.636.846.0平均开度检测误差/（）0.60.80.91.11.2表4泵车后支腿平均开度检测误差对比Tab.4Comparison of the detection error of the average opening of the rear outrigger of the pump truck支腿开度/%20406080100支腿角度/（）10.120.330.540.650.8平均开度检测误差/（）2.11.71.61.41.3327