基于语义分割的综采工作面视频拼接方法_杨帅.pdf

煤矿机械Coal Mine MachineryVol.44 No.5May.2023第44卷第5期2023年5月doi:10.13436/j.mkjx.2023050630引言现阶段，国内煤炭开采企业逐渐对井下开采工作面实现全面的视频监控。但由于井下开采工作面的环境复杂、自动化设备多样等诸多原因，需要在井下巷道以及液压支架等自动化设备上部署大量的摄像头来对井下煤炭开采过程进行安全监控。然而密集的监控摄像头拍摄的场景存在重复区域，这会出现冗余现象，导致监控视频的利用率较低。同时对采煤机安全监控而言，需要不断切换不同区域的监控视频才能实现对采煤机的精准安全监控，这无疑增加了远程监控运行状态和远程操控设备的难度。因此实现煤炭开采工作面的全景视频拼接对安全开采具有重要的意义。本文以煤矿综采工作面为应用场景，以采煤机为拼接主体，研究了一种基于语义分割的视频拼接方法。1语义分割模型基于语义分割的视频拼接方法采用的语义分割模型为Deeplabv3+模型。它是Deeplab系列模型的新内容，也是目前较为流行的语义分割算法。其主要贡献是在Deeplabv3的基础上加入编码网络和解码网络，能够较好地保留细节语义信息，以便获取更好的分割结果。此外引入了深度可分离卷积来降低网络的参数量，提升模型运算速度。该模型结构如图1所示。图1Deeplabv3+模型结构示意图Deeplabv3+模型主要由编码网络和解码网络两部分构成。在编码网络中引入空洞卷积，增加感受野，使得每一层的卷积获取更大范围的语义信息。同时采用深度可分离卷积来降低网络的参数量和计算量，实现模型轻量化。此外在编码网络中，对主干网基于语义分割的综采工作面视频拼接方法*杨帅1，郭龙真2，朱朋飞1，高梦阳1，宋贵科1（1.郑州煤机液压电控有限公司，郑州450000；2.郑州煤矿机械集团股份有限公司，郑州450000）摘要：研究了一种基于语义分割的综采工作面视频拼接方法。该方法针对井下要求，以采煤机为拼接主体。首先使用语义分割模型分割出各路监控视频中的采煤机，获取其在图像中的位置；然后根据采煤机位置来对齐各路监控视频中的采煤机；最后使用图像融合技术来对重叠区域进行融处理。实验结果表明，该方法能够有效地满足井下工作面拼接需求，并具有较高的稳定性和普适性。关键词：综采工作面；视频拼接；语义分割；图像融合中图分类号：TD76文献标志码：A文章编号：1003 0794（2023）05 0206 03Video Splicing Method of Fully Mechanized Mining Face Based onSemantic SegmentationYang Shuai1，Guo Longzhen2，Zhu Pengfei1，Gao Mengyang1，Song Guike1（1.Zhengzhou Coal Machine Hydraulic Electric Control Co.,Ltd.,Zhengzhou 450000,China；2.Zhengzhou Coal MiningMachinery Group Co.,Ltd.,Zhengzhou 450000,China）Abstract:Studied a fully mechanized mining face video splicing method based on semantic segmentation.The method is aimed at the underground requirements,and takes the shearer as the main body of thesplicing.First,used the semantic segmentation model to segment the shearers in each surveillance video toobtain their positions in the image;then aligned the shearers in each surveillance video according to thelocation of the shearers;finally,used image fusion technology to fuse the overlapping area.The experimentalresults show that this method can effectively meet the splicing requirements of underground workingfaces,and has high stability and universality.Key words:fully mechanized mining face；video splicing；semantic segmentation；image fusion*河南省科技攻关项目(221100220200)lmageEncoderDCNNAtrous Conv11 Conv33 Convrate 6DecoderUpsampleby4Prediction11 Conv33 Convrate 1233 Convrate 18lmagePoolingUpsampleby411 Conv33 ConvConcatLow-LevelFeatures206络提取的特征采用并行的、不同扩张率的空洞卷积进行特征提取，再对获得的特征进行合并以实现ASPP结构。解码网络是利用编码网络获取的特征上采样得到最终分割结果。首先将编码网络的浅层特征通过11卷积进行通道数调，并将其与空洞卷积后获取的有效特征经过上采样的结果进行堆叠；然后进行2次33的卷积；最后进行上采样获得最终的分割掩码。2工作面视频拼接算法设计基于语义分割的工作面视频拼接流程如图2所示。整个过程包括数据获取、模型推理、位置对齐和拼接融合4个步骤。图2基于语义分割的工作面视频拼接流程（1）数据获取使用综采工作面监控摄像头拉取RTSP视频流，利用OpenCV从视频流中获取视频帧图像。由于镜头等硬件的缺陷会导致图像发生一定程度的畸变，采用除法模型对图像进行矫正，具体公式：xu=xc+xd-xc1+K1r2+K2r4yu=yc+yd-yc1+K1r2+K2r4r=（xd-xc）2（yd-yc）2式中（xu，yu）矫正图上的点坐标；（xd，yd）畸变图上的点坐标；（xc，yc）畸变图的中心点坐标；K1、K2畸变系数。（2）模型推理首先对畸变矫正后的图像进行归一化处理，将像素值归一化到（0，1）区间内；然后将归一化后的图片作为Deeplabv3+模型的输入，经过编码网络逐层抽取特征，获取图片的特征编码；紧接着通过解码网络对特征编码进行上采样，最终获得与模型输入的图像分辨率相同的采煤机分割掩码图。（3）位置对齐在获得的分割掩码图上使用边缘提取算法获取采煤机在各路监控视频帧图像中的位置信息，然后根据位置信息将各路视频帧图像按采煤机位置对齐。由于采煤机在不同路监控视频帧图像中位置不同，在采煤机对齐时会出现参差不齐的情况，影响拼接视频的流畅性。针对上述问题，采用空白区域补齐的方式来对图像进行补齐，具体过程如图3所示。图3采煤机位置对齐过程示意图（4）拼接融合开采工作面相邻的监控摄像头拍摄的场景会有部分重叠区域。在视频拼接过程中如果不处理这些重复区域，会导致拼接出来的图像包含一些冗余场景，同时也会增大拼接图像的分辨率，进而增加推流的负担。因此采用加权融合的方式对重叠区域进行融合，消去冗余场景。融合计算公式为dst=img1+img2式中img1、img2来自不同视频帧图像的重叠区域；、权重，二者之和为1。3实验分析为了验证所提出方法的有效性，本文采用小保当综采工作面作为实验数据采集场景。训练及测试均在同一台服务器上，配置为2个Intel Xeon(银牌)4216 CPU和2个NVIDIA Tesla T4 16 GB显卡。（1）语义分割数据集制作对小保当综采工作面的5路监控视频采用间隔抽帧的方式来获取原始数据。在抽取视频帧图像时，每间隔5帧获取1张图像，共收集到13 000张图片。为避免畸变对最终拼接效果的影响，对13 000张图片进行畸变矫正。采用Labelme标注工具对畸变矫正后的图像进行标注，获得语义分割数据集。语义分割数据集的示例如图4所示。（a）原始图像（b）畸变矫正（c）掩码图像图4语义分割数据集示例（2）语义分割模型训练模型训练在NVIDIA Tesla T4 GPU服务器上进行，编程环境为Python 3.8、Pytorch v1.10。训练的前50个迭代中冻结主干网络参数同时将batch size设置为8；后50个迭代中解冻主干网络参数，将batchsize设置为4。采用SGD优化器，训练过程中逐渐减小学习率，以便模型平稳收敛。训练过程中损失变化曲线如图5所示。从图5可以看出，在训练的前20个迭代中，损失值逐渐下降接近平稳，随着训练的进行，损失值逐渐收敛在0.025左右。从整个曲线可以第44卷第5期Vol.44 No.5基于语义分割的综采工作面视频拼接方法杨帅，等数据获取模型推理位置对齐拼接融合拉取RTSP视频流获取图像帧图像畸变矫正图像归一化语义分割模型掩码mask多余位置填充采煤机边缘位置提取采煤机位置对齐重叠区域融合重叠区域融合推出RTSP视频流填充区域2填充区域1图片1位置对齐区域填充图片2图片1图片2图片1图片2采煤机 采煤机采煤机采煤机采煤机采煤机207看出损失值随着迭代次数的增加逐渐趋于收敛状态，表明模型也逐渐趋于稳定。迭代次数图5训练过程中损失变化曲线图1.训练损失2.平滑训练损失3.测试损失4.平滑测试损失（3）视频拼接效果分析为了验证本文方法的有效性，使用小保当综采工作面的监控视频进行了拼接验证。两路监控视频的拼接效果如图6所示。从图6（a）和图6（b）可以看出原始的监控视频帧图像有较大的非线性畸变。采用除法模型来对畸变图像进行矫正，从图6（c）和图6（d）可以看出矫正的图像基本上无失真。图6（e）拼接后的图像，其中上下方框部分为填充区域，通过裁取原始图像相邻区域来进行填充；中间方框部分是图像融合区域。该方法拼接出的图片无明显拼缝，过渡比较自然，基本满足工程需求。（a）55架视频帧图像（b）52架视频帧图像（c）55架畸变矫正图像（d）52架畸变矫正图像（e）55架与52架拼接图像图6两路监控视频拼接效果图三路和四路监控视频的拼接效果如图7和图8所示，基本上实现了采煤机的全景 视 频 拼接，可以更加直观地对采煤机进行状态监测，能够为采煤机的高效开采提供更加全面、便捷的安全监控。图7三路监控视频拼接效果图图8四路监控视频拼接效果图4结语本文针对煤矿综采工作面，以采煤机视频为研究对象，提出了一种基于语义分割的视频拼接方法。该方法利用语义分割模型找到采煤机在各路监控视频帧图像中的区域，通过边缘位置提取、位置对齐、图像融合和拼接等图像处理技术对各路视频进行全景拼接。实验结果表明，该方法基本满足工程需求，有助于对工作面采煤机的安全监测。由于在图像对齐阶段裁取图像邻近区域来进行填充操作，会在拼接结果中出现阶梯性重复区域。针对这个问题，在后续的工作中将继续开展视频拼接算法的研究，为提升拼接效果提供技术支撑。参考文献：1范京道.智能化无人综采技术M.北京:煤炭工业出版社,2017.2王国法,张德生.煤炭智能化综采技术创新实践与发展展望J.中国矿业大学学报,2018,47(3):459-467.3陶智慧.煤矿工作面视频拼接算法研究D.西安：西安科技大学,2020.4杨俊哲,罗文,杨俊彩.神东矿区煤层智能开采技术探索与实践J.中国煤炭,2019,45(6):18-25.作者简介：杨帅（1993-），河南驻马店人，硕士，现主要从事煤矿智能开采技术研究工作,电子信箱：.责任编辑：刘宝胜收稿日期：20220924第44卷第5期Vol.44 No.5基于语义分割的综采工作面视频拼接方法杨帅，等损失1230.350.300.250.200.150.100.052002020201004208