基于Res2-UNet模型的皮带煤量检测.pdf

2023 年第 7 期计算机与数字工程收稿日期：2023年1月11日，修回日期：2023年2月16日基金项目：山西省中科院科技合作项目（编号：20141101001）；山西省社会发展科技项目（编号：20140313020-1）资助。作者简介：成彦颖，女，硕士研究生，研究方向：图像处理，计算机视觉。白尚旺，男，硕士，教授，硕士生导师，研究方向：数据库与软件工程技术。1引言煤炭产量是衡量煤矿生产效率和经济效益的重要指标，带式输送机作为煤矿中常用的输送设备，在运输煤料中经常会出现堆煤、少煤、空载的情况，使得煤量运输不均匀。所以煤量的检测不仅能预测煤炭产量，进行生产管理，而且能将皮带煤料上的情况反馈给工作人员，对皮带进行及时有效的控制，达到优化煤量，节省电能的目的。传统的皮带煤量检测有接触式或非接触式两种方法，接触式的方法包括倾斜开关、压力检测1或电子胶带秤2。倾斜开关虽然简单，容易检测，总第 405期2023 年第 7 期计算机与数字工程Computer&Digital EngineeringVol.51No.7基于 Res2-UNet 模型的皮带煤量检测成彦颖白尚旺（太原科技大学计算机科学与技术学院太原030024）摘要为了能够检测煤矿井下的煤量，预测和提高煤的利用率，同时节省电能，减少人力的监管和资源成本。利用煤矿安装的视频监控系统，采用非接触的方式通过Camshift算法对快速运动皮带上的煤量捕捉和跟踪，然后建立Res2-UNet模型来获得显著性信息，融合灰度、纹理、边缘等特征到单一的网络中，实现了皮带煤量的检测。模型利用U-Net网络的思想以编码器-解码器为架构，编码器以Res2Net网络为骨干网络提取煤流不同层次特征的信息，解码器通过反卷积上采样操作恢复图像尺寸。经过构建皮带数据集训练和测试模型，实验结果表明，提出的方法能够快速准确地检测出皮带上的煤料，精确率达到95.5%，每张图像从输入网络到输出的运行时间为4.8s。表明该方法具有一定的实用性和有效性。关键词煤量检测；Camshift算法；编码器-解码器；Res2-UNet模型；U-Net网络；Res2Net网络中图分类号TD529；TP391.4DOI：10.3969/j.issn.1672-9722.2023.07.035Belt Coal Quantity Detection Based on Res2-UNet ModelCHENG YanyingBAI Shangwang（School of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan030024）AbstractIn order to be able to detect the amount of coal in the mine，predict and improve the utilization rate of coal，whilesaving electricity，human supervision and resource costs are reduced.By using the video surveillance system installed in the coalmine，the coal amount on the fast moving belt is captured and tracked by Camshift algorithm in a non-contact way，and then theRes2-UNet model is established to obtain the significance information，and the gray level，texture，edge and other features are integrated into a single network to realize the coal amount detection of the belt.The model uses the idea of U-Net network and encoder-decoder architecture.The encoder uses Res2Net network as the backbone network to extract the information of different levels ofcoal flow characteristics，and the decoder recovers the image size through deconvolution upsampling operation.After constructingbelt data set training and testing model，experimental results show that the proposed method can quickly and accurately detect thecoal on the belt，with an accuracy rate of 95.5%，and the running time from input network to output of each image is 4.8s.The results show that the method is practical and effective.Key Wordscoal quantity detection，Camshift algorithm，encoder-decoder，Res2-UNet model，U-Net network，Res2NetnetworkClass NumberTD529，TP391.41635第 51 卷但皮带易磨损，需要定期检查维修，而且检测的准确率和可靠性差1。压力检测和电子胶带秤由于和皮带长时间接触、皮带自身的重量和速度等误差都会对检测造成影响3。非接触式方法有电场感应和激光检测，电场感应通过安装智能传感器来检测煤量，产生的电场变化作为煤量检测的输出，但是电场感应方法无法检测煤量的多少1。激光检测通过激光扫描测量技术实时采集煤流的三维数据，计算煤的体积和重量4。这种方法可以检测出煤量的多少，但是成本较高，不能很好的普及。部分煤矿将变频技术和载煤量自动匹配控制结合起来，加强了节能的效果5，但是在复杂的煤矿环境中，变频器易收到干扰而损坏。随着计算机视觉的发展，利用深度学习进行图像分割检测也有着突出表现。在煤矿领域中，利用了视觉检测中的单目视觉技术构建小孔成像测距模型，实现了胶带堆煤检测6。基于机器视觉的智能输煤检测系统将煤量检测分为煤宽和煤高检测，采取煤宽分割区域和基于卷积神经网络的煤高检测，整体效果好，但是在复杂的环境下适应性差且精度较低7。本文针对煤炭图像检测精度低，且适应性差等问题，提出了一种新的煤量检测方法，首先通过Camshift算法实时跟踪捕捉皮带煤量的区域，然后通过Res2-UNet模型将多层次、多尺度的显著性特征集中到单一的网络，检测煤量的轮廓区域。实现了对煤量的准确定位和分割。2皮带煤量检测视觉监控系统本系统在皮带上方安装矿用高清防爆摄像头实时采集皮带的视频，将采集到的视频通过网络传到服务器上，服务器通过人工智能视频识别模型检测 和 分 析 煤 量，采 用 Camshift 算 法 跟 踪 和Res2-UNet网络检测。图1为皮带煤量检测视觉监控系统。图1皮带煤量检测视觉监控系统3实验流程3.1预处理首先读入要检测的皮带视频，采集煤流数据，为了保证图像检测的准确性和提高训练的速度，需要对目标图像进行预处理，包括图像裁剪、光照均匀处理、图像池化等。图像裁剪根据检测的目标对象的坐标来定位裁剪区域，将图像尺寸调整为250像素250像素。光照均匀处理，是指当在工作场景中光照不均匀时，可能会对我们的检测造成影响，光照的变化会导致图像的像素矩阵发生变化，这里对图像做光照均匀处理可在一定程度上改善算法的判断效果。最后，对于预处理步骤中的图像池化，是因为在实际场景中可能会出现摄像头轻微抖动等情况，可能会导致相邻的视频帧的图像的像素值会发生一定的偏移，这里使用卷积神经网络中的池化层的思想，对图像进行池化可达到对池化区域内像素值进行平滑的效果，可在一定程度上改善轻微的像素值变化造成的影响。预处理之后利用 Camshift算法快速跟踪捕捉运行的皮带煤流图像，然后通过Res2-UNet模型进行煤量检测。图2为皮带煤量检测流程图。图2皮带煤量检测流程图3.2基于Camshift算法的皮带煤量快速跟踪利 用 Camshift（Continuously Adaptive MeanShift）8连续的自适应平均移位（Meanshift）算法对快速移动的物体跟踪，提取煤量的位移。这种算法根据目标物体的颜色特征跟踪目标的运动轨迹，颜色特征不会受外界的环境变化，所以Camshift算法对于跟踪物体来说比较稳定，并且实时性好、准确率和效率都很高。本文通过矿用高清防爆摄像头捕获高速运动的皮带，对采集到的视频帧做预处理，将RGB颜色空间变为HSV空间形成候选目标区域，手动定义搜索窗口选择移动目标，通过Meanshift运算，并且使上一帧目标窗口的的中心位置和大小作为下一帧的目标窗口的初始值，依次迭代下去，直到最后一帧的目标跟踪。Camshift算法流程如图3所示。首先计算搜索区域的大小，将 RGB图像转化为HSV图像，HSV空间有三个参数，即色调（H）、饱和度（S）和明度（V），计算公式如下：V=max(RGB)S=()V-min(RGB)Vif()V0 0else（1）成彦颖等：基于Res2-UNet模型的皮带煤量检测16362023 年第 7 期计算机与数字工程H=60()G-BSif(V=R)180-60()B-GSif(V=G)240+R-60GSif()V=B H+360if()H0 计算搜索窗口的目标颜色直方图是为了得到颜色概率分布图像。当直方图投影后，每个像素的值代表了颜色的概率信息，从而通过颜色特征可以跟踪目标的轨迹。图3Camshift算法流程图搜索区域像素点的坐标为（x，y），在投影图中，对应的像素值为I（x，y）。搜索窗口的零阶矩、一阶矩、二阶矩分别为M00；M01；M10；M20；M02；M11。M00=xyI()xy;M10=xyxI()xy;M01=xyyI()xy;M20=xyx2I()xy;M02=xyy2I()xy;M11=xyxyI()xy;（2）定义了搜索框的质心坐标（xc，yc）：()xcyc=()M10/M00M01/M00.（3）长轴为l，短轴为w，目标的方向角为l=()a+c+b2+()a-c22（4）w=()a+c-b2+()a-c22（5）=12tan-1ba-c.（6）通过 Meanshift算法，搜索窗口的中心移动到质心位置，设定搜索窗口中心到质心距离阈值，不断移动计算两者之间的实际距离，若实际距离小于设定的阈值，则达到了收敛条件进行下一帧的循环，否则重新调整搜索窗口的质心位置以满足条件。3.3建立Res2-UNet煤量检测模型本文提出的 Res2-UNet模型借鉴了图像分割U-Net911网络的思想，是一个编码器-解码器架构，编码器采用Res2Net12多尺度卷积网络提取特征信息，如图4所示，Res2Net将ResNet通用的33的卷积核变为多分支的特征组，这些特征组以分层残差的形式连接以增加多尺度的输出。首先将输入特征图分成几组，一组输入特征图提取特征，其输出特征与另一组的输入特征图共同送入下一个33的卷积核，重复几次，处理完所有的输入特征图，输出不同大小感受野，将输出结果融合并且经过11的卷积核，得到更多尺度的特征。11x1x2x3x4333333K2K3K4y1y2y3y411图4Res2Net网络模型随着深度的增加，图像尺寸逐渐减少，所以通过下采样操作提取高层次的特征，输入图像以256256为例，以Res2Net网络作为特征提取模块得到88的特征图。解码器通过反卷积操作扩大图像尺寸，并与下采样相同尺寸的特征图拼接起来，将输入特征的空间大小加倍，传播上下文信息到更高分辨率的层，然后将拼接后的特征图经过11的卷积核和反卷积操作后，使得输出与输入图像的的分辨率大小相同。最后通过11分类器映射特征向量到输出层进行分类，采用Sigmoid函数作为激活函数，以交叉熵为代价函数，提高训练的速度1314。Res2-UNet的模型结构如图5所示。1637第 51 卷4实验4.1Camshift算法快速跟踪皮带煤矿中皮带工作时以较高的速度运行，皮带煤量视觉监控系统必须快速捕捉跟踪皮带上的煤量，在煤量区域的视野范围内，采集高速运行的皮带图像。本文实地采集三甲煤矿不同场景（露天煤矿、地下煤矿）、不同角度、不同时间段5段共10h皮带煤流运行的视频，具有代表性，符合实际情况，验证本文方法在多变环境中的煤量检测效果。首先采用 Camshift算法跟踪快速运行的皮带视频，观察煤量变化的情况。如图6所示为跟踪皮带第230帧和第245帧的结果。图6皮带跟踪结果4.2Res2-UNet模型皮带检测通过Camshift算法快速跟踪到煤量区域后，在跟踪后的图片数据集挑选无煤、少煤、中煤、多煤、大块煤各 150张数据集，总共 800张训练集和 100张测试集。将训练集在Res2-UNet网络中进行训练，训练参数如表1所示，“batch _ size”表示每次迭代的皮带图像数量，“epochs”表示训练集中所有数据迭代的次数。“imgs_train”表示训练集的总数。“Resolution”表示训练集图像的分辨率。实验采用随机梯度下降法。训练完成后识别和分割皮带上的煤量，结果如图7所示。表1设置训练参数训练参数batch _ sizeepochsimgs_trainResolutionRes2-UNet28800250像素250像素图7煤量检测结果通 过 对 比 本 文 的 煤 量 检 测 方 法 与 CNN、E-Net15、U-Net在平均准确率和运行时间指标上的区别，精确率为测试图像中每个像素点与真实图相对比，分类正确的占比，运行时间为每张图像从输入网络到输出的时间。验证本文方法的有效图5Res2-UNet的模型成彦颖等：基于Res2-UNet模型的皮带煤量检测16382023 年第 7 期计算机与数字工程性。检测结果如表2所示。表2不同模型的精度煤量检测CNNE-NetU-Net本文方法精确率85%75%90%95.5%运行时间（帧）5s2s4.5s4.8s从表2可知，U-Net网络平均准确率较高，但是运行时间不占优势，E-Net运行时间少，但是平均准确率低。而本文提到的煤量检测方法准确率更高，达到95.5%。且运行时间为4.8s，从而能更准确及时地检测皮带上煤料，对带式输送机进行有效的控制。5结语为了能实时准确地检测皮带上的煤量，本文采用Camshift算法捕捉跟踪快速运行的皮带煤量目标，当定位目标的感兴趣区域后，通过 Res2Net网络提取煤量显著特征，结合U-Net网络的设计思想建立Res2-UNet模型。该架构通过收缩路径捕捉煤量的上下文信息，对称的扩张路径来准确定位，可以用很少的数据集实现端到端的训练，降低了模型训练的难度，减少了计算量，加快了检测速度。综上本文提到的检测方法能高效快速地检测皮带煤量，大大减少了电能损耗，提高了煤矿井下煤量的生产效率和经济效益。参 考 文 献1张远.基于煤量检测的煤矿顺煤流调速控制系统 D.天津：天津大学，2017.ZHANG Yuan.Speed Control System in Coal Flow Direction Based on Coal Amount Detection D.Tianjin：TianjinUniversity，2017.2厉达，何福胜.皮带秤技术现状及发展趋势 J.衡器，2012，41（09）：1-4，10.LI Da，HE Fusheng.Technical status and developmenttrend of belt weigher J.Weighing Instrument，2012，41（09）：1-4，10.3史登跃.电子皮带秤测量误差的分析及改进 J.化工自动化及仪表，2004，31（2）：67-69.SHI Dengyue.Measurement Error Analyzing of ElectronicBelt Conveyor Scale and Its Improvement J.Control andInstruments In Chemical Industry，2004，31（2）：67-69.4张文军，舒新前，姜洪才，等.基于激光三维扫描的不规则煤场测量系统设计 J.煤炭科学技术，2009，37（05）：111-114.ZHANG Wenjun，SHU Xinqian，JIANG Hongcai，et al.Design on Survey System of Irregular Coal Storage YardBased on Laser 3D Scanning J.Coal Science and Technology，2009，37（05）：111-114.5王海军.带式输送机机载煤量自动匹配控制及节能分析 J.煤炭科学技术，2013，41（S2）：246-249.WANG Haijun.Automatically Matching Control of Airborne Coal Quantity in Mine Belt Conveyor and Energy-Conserving Analysis J.Coal Science and Technology，2013，41（S2）：246-249.6王健生，郭鹏，郝震，等.基于视觉测量的电厂输煤胶带堆煤检测 J.工矿自动化，2016，42（08）：43-47.WANG Jiansheng，GUO Peng，HAO Zhen，et al.Coal piling detection of coal transport belt of power plant based onvision measurementJ.Industry and Mine Automation，2016，42（08）：43-47.7李红伟.基于机器视觉的智能输煤检测系统 D.哈尔滨：哈尔滨工业大学，2019.LI Hongwei.Intelligent coal transport detection systembased on machine vision D.Harbin：Harbin Institute ofTechnology，2019.8Bradski G R.Real Time Face and Object Tracking as aComponent of a Perceptual User InterfaceC/IEEEWorkshop on Applications of Computer Vision.IEEE，1998.9O.Ronneberger，P.Fischer，T.Brox.U-net：Convolutional networks for biomedical image segmentation J.in MICCAI，2015.10K.He，X.Zhang，S.Ren，et al.Delving deep into rectifiers：Surpassing human-level performance on imagenetclassification J.In ICCV，2015.11Maska，M.，De Solorzano，C.O.A benchmark for comparison of cell tracking algorithmsJ.Bioinformatics，2014，30：1609-1617.12Gao，S.H.，Cheng，M.M.，Zhao，K.，et al.Res2net：a new multi-scale backbone architectureC/IEEETransactions on Pattern Analysis and Machine Intelligence，2019.13Seyedhosseini M，Sajjadi M，Tasdizen T.Image Segmentation with Cascaded Hierarchical Models and LogisticDisjunctive Normal NetworksC/Proceedings of the2013 IEEE International Conference on Computer Vision.IEEE，2013.14K.Simonyan，A.Zisserman.Very deep convolutional networks for large-scale image recognitionJ.In ICLR，2015.15Paszke A，Chaurasia A，Kim S，et al.Enet：A deep neural network architecture for real-time semantic segmentationJ.ArXiv Preprint ArXiv：1606.02147，2016：35-36.1639