基于U-Net和改进分水岭算法的露天矿爆堆矿石图像分割方法.pdf

Series No.566August 2023 金 属 矿 山METAL MINE 总 第566 期2023 年第 8 期收稿日期 2023-03-27基金项目 国家自然科学基金项目(编号:42071453,41974028)。作者简介 阚玉达(1980),男,高级工程师,硕士。基于 U-Net 和改进分水岭算法的露天矿爆堆矿石图像分割方法阚玉达(中铁十九局集团矿业投资有限公司,北京 100161)摘 要 爆破大块率是反映爆破效果的关键指标,其统计精度主要依赖于爆堆矿石图像分割的准确性。由于爆堆矿石图像中存在矿石目标分布密集、边缘对比度低等问题,致使传统图像分割方法难以准确分割爆堆矿石图像。因此,提出了一种基于 U-Net 和改进分水岭算法的露天矿爆堆矿石图像分割方法,以实现大块率的精准统计。首先利用无人机在哑巴岭露天矿爆破现场拍摄爆堆矿石图像,制作爆堆矿石图像数据集;然后利用深度学习算法建立了 U-Net 网络架构,同时融合了高级语义信息和低级语义信息,建立了爆堆矿石图像分割模型,再利用训练后的模型对爆堆矿石图像进行初步分割,进一步采用基于距离运算的分水岭算法优化了分割结果;最后评估了该方法的分割精度。试验结果表明:该算法可准确分割露天矿爆堆矿石图像,为露天矿爆破大块率统计、爆破效果智能评价提供技术支持。关键词 U-Net 网络 分水岭算法 爆堆矿石图像分割 爆破大块率 中图分类号TD235 文献标志码A 文章编号1001-1250(2023)-08-272-06DOI 10.19614/ki.jsks.202308035An Image Segmentation Method for Blast Pile Ore in Open-pit Mine Based on U-Net and Improved Watershed AlgorithmKAN Yuda(China Railway 19th Bureau Group Corporation Limited,Beijing 100161,China)Abstract The key indicator reflecting the blasting effect is the blasting block rate,and its statistical accuracy mainly de-pends on the accuracy of ore image segmentation in the blasting heap.Due to the problems of dense distribution of ore targets and low edge contrast in the ore image of the blasting heap,traditional image segmentation methods are difficult to accurately segment the blasting heap ore image.Therefore,this paper proposes a method based on U-Net and improved watershed algo-rithm for segmenting open-pit mine blasting heap ore images to achieve accurate statistics of the block rate.Firstly,unmanned aerial vehicles shoot the blasting heap ore images at the Yabaling Open-pit Mine,and create a blasting heap ore image dataset.Then,deep learning is used to establish the U-Net network architecture,and advanced semantic information and low-level se-mantic information are integrated to establish an ore image segmentation model for the blasting heap.The trained model is then used to perform preliminary segmentation on the blasting heap ore images,and further optimize the segmentation results using a watershed algorithm based on distance operations.Finally,the segmentation accuracy of the proposed method is evaluated.Ex-perimental results show that this algorithm can accurately segment open-pit mine blasting heap ore images,providing technical support for open-pit mine blasting block rate statistics and intelligent evaluation of blasting effects.Keywords U-Net network,watershed algorithm,blast pile-ore image segmentation,blast bulk rate 近年来,采矿业与多学科技术逐步实现了深度交叉融合,为稳步推进矿山智能化建设,实现露天矿爆破效果实时智能评价,需自动快速准确地统计爆破大块率1-3。传统大块率统计方法多依赖于现场目视解译,统计效率和精确性较差。基于此,大量学者进行了研究,提出了基于图像分割算法的爆破大块率统计方法4,已在多个矿山得到了广泛应用。图像分割算法自动化程度高、智能性强,被广泛272应用于医学图像处理5-6、卫星遥感影像分割7-8、矿石图像分割9-11等领域。传统的图像分割方法,如自适应阈值算法12、K-均值聚类算法13-14等,针对爆堆矿石图像,难以得到较好的分割效果。随着深度学习的概念被提出并不断应用,在图像分割领域取得更大的进展,涌现出了如 FCN15、SegNet15、Mask RC-NN16等算法。在矿石图像分割领域,深度学习算法取得较好的应用效果。李鸿翔等17针对矿石目标相互堆叠、表面不规则的问题,研究了 GAN-UNet 网络架构,并将其用于分割矿石图像,分割精度相较于传统方法得到显著提升;LI 等18针对矿石图像形状复杂、相互粘连的特点,提出了一种基于深度学习的矿石图像分割算法,利用整体嵌套边缘检测(Holistical-ly-Nested Edge Detection,HED)算法提取矿石图像中矿石目标边缘,进一步细化目标边缘,该方法鲁棒性强,但是具有一定的噪声敏感性,且针对中小矿石目标,难以取得较好的分割结果。为此,顾清华等19提出了一种基于改进 HED 算法的破碎矿石图像分割方法,有效解决了 HED 算法针对中小型矿石目标提取精度较差的问题,分割效果较好。上述传统方法虽然具有一定的效果,但智能性较差,尤其针对现场爆堆矿石图像中存在的矿石目标分布密集、边缘对比度低等问题,其分割精度难以满足露天矿爆破大块率精准统计要求。上述深度学习方法具有智能性强、分割精度高等优点,但主要针对背景统一的矿石图像,对于露天矿复杂环境下的爆堆矿石图像适用性不强。因此,本研究提出一种基于 U-Net 和改进分水岭算法的露天矿爆堆矿石图像分割方法解决上述问题。该方法首先标注爆堆矿石图像,制作数据集;然后基于 U-Net 网络模型训练并预测爆堆矿石分割结果,进一步采用基于距离运算的分水岭算法优化分割结果;最后利用图像交并比定量评价爆堆矿石图像分割精度。1 数据获取及预处理1.1 试验数据本研究利用无人机(大疆精灵 4 RTK)采集辽宁省鞍山市鞍千矿业哑巴岭露天采场(东经 1230813,北纬 413611)的爆堆照片制作数据集,数据格式为 jpg 格式,分辨率为 6 0004 000 像素,获取的爆堆矿石图像如图 1 所示。图 1 无人机拍摄的爆堆矿石图像Fig.1 Exploded ore images captured by UAV1.2 数据预处理首先利用 labelme 图像标注工具手动提取爆堆矿石图像中的矿石目标,获取的爆堆矿石图像分割结果如图 2 所示。由于原始爆堆矿石图像尺寸较大,因此将原始爆堆矿石图像与其对应的分割结果进行裁剪,裁剪尺寸为 512512 像素。考虑到爆堆矿石图像数量较少,因此利用图像旋转、图像翻转、图像去噪、图像加噪、亮度变化等算法增强爆堆矿石图像数据集,在增强样本多样性的同时,避免了出现模型过拟合现象。同时为了减少模型训练和预测时间,将爆堆矿石图像进行灰度化处理,最终得到的数据集中包含 6 000 幅爆堆矿石图像,部分结果如图 3 所示。2 研究方法爆堆矿石图像边缘模糊,内部语义信息相似,结合高级语义信息和低级语义信息后可有效描述图片信息,而 U-Net 网络架构可有效结合图像高级语义信息和低级语义信息,因此本研究采用 U-Net 网络结构372 阚玉达:基于 U-Net 和改进分水岭算法的露天矿爆堆矿石图像分割方法 2023 年第 8 期图 2 爆堆矿石图像分割结果Fig.2 Segmentation result of exploding ore image训练模型,并预测爆堆矿石图像分割结果。由于爆堆矿石图像中矿石目标分布密集、相互堆叠,经 U-Net模型预测后的分割结果仍存在部分欠分割现象,而采用基于距离运算的分水岭算法优化 U-Net 模型的分割结果,可有效处理欠分割现象。根据上述分析,本研究提出了一种 U-Net 和基于距离运算的分水岭算法相结合的爆堆矿石图像分割方法,以提升爆堆矿石分割精度。该方法首先对无人机图像进行预处理,裁剪、标注数据集,数据集增强;然后基于爆堆矿石图像数据集训练 U-Net 网络,得到爆堆矿石图像分割模型,再用该模型对爆堆矿石图像进行预测,得到 U-Net 模型预测的分割结果;最后利用基于距离运算的分水岭算法优化 U-Net 模型预测的分割结果。2.1 U-Net 网络模型构建与训练在语义分割过程中,为了获得性能更强的分割模型,需在充分保留高级语义信息的同时,最大程度地利用低级语义信息训练模型。U-Net 网络基于全卷积神经网络(Fully Convultional Neural Network,FCN)进行改进,在下采样过程中不断提取爆堆矿石图像特图 3 爆堆矿石图像数据集(部分)Fig.3 Dataset of blast pile ore images(part)征信息,并在上采样的同时将对应的特征进行融合,可充分融合图像的高级语义信息和低级语义信息进行模型训练,U-Net 网络结构如图 4 所示。有别于原始 U-Net 网络,本研究 U-Net 网络架构采用 ELU 激活函数。ELU 激活函数有效结合 ReLu 激活函数和 sig-moid 激活函数,当输入为正值时,可有效避免梯度下降现象,当输入为负值时,相较于直接设置为 0,可有效保持激活函数对负值的敏感响应。输入图像为分辨率 512512 像素的单通道灰度图。由于卷积核为 33,故而将输入图像经过卷积运算后分辨率在长宽上表现为减小 2,同时增加图像深度,然后进行下采样,将图像尺寸缩减为之前的 1/2,经 4 次下采样之后,再利用双线性插值算法进行上采样,同时融合与之对应的图像。最后针对每一个像素利用 softmax 函数进行特征运算,将运算结果和真实标签利用损失函数进行损失运算得到损失值,进一步纠正分割差异,预测结果精度越高,则损失值越小。由于爆堆矿石图像分割属于图像二分类任务,因此在U-Net网络架构中,本研究采用二分类交叉熵损472总第 566 期 金 属 矿 山 2023 年第 8 期图 4 U-Net 网络结构Fig.4 U-Net network structure失函数。二分类交叉熵损失函数可表示为L=-ylog yhat()+1-yhat(),(1)式中,y 为真实数据;yhat为预测结果;L 为函数值。建立 U-Net 网络模型后,将数据集划分为训练集和验证集,其中训练集 4 800 幅,验证集为 1 200 幅,作为网络模型输入,由于服务器显卡限制,设置批处理尺寸(batch size)为 2,即每次训练 2 幅图像,epoch设置为 60,在训练过程中,Loss 值多次不再下降时,自动停止模型训练,同时采用 Adam 优化器训练网络模型。2.2 基于距离运算的分水岭算法基于距离运算的方法常被用来改进分水岭算法。对于二值图像,若两个黑色斑点连在一起,则在地形表面只会形成一个最小值和汇水盆地。为了利用分水岭对连通斑点进行分割,对二值图像进行欧式距离运算,将每个像素的位置信息转换为灰度信息,然后利用分水岭算法寻找边界点来分离粘连的矿石目标。2.3 爆堆矿石图像分割结果评价指标为了定量评价模型性能和预测结果精度,计算预测图像和真实图像的混淆矩阵。引入损失(Loss)值、像素准确率(accuracy)和 F1值评价模型性能,同时引入图像交并比运算方式定量评价模型预测结果和优化后结果精度。(1)Loss 值。Loss 值是在网络训练时根据 ELU损失函数计算而来,反映模型预测结果和真实结果之间的差异,通常损失值越小,模型训练效果越好。(2)准确率。即为分类模型预测结果中所有预测正确的像素点个数与模型预测出的矿石目标像素点个数的比值,取值越大,表明其具有更高的泛化能力。(3)F1值。F1值可同时评价精准率和召回率,其取值范围为0,1,越接近于 1,则模型性能越强,效果越好。计算公式为F1=211P+1R=2RPP+R,(2)式中,R 为所有正类别样本中,被正确识别为正类别样本的比例;P 为被识别为正类别的样本中,为正类别的比例。(4)图像交并比。图像交并比(IOU)用矿石目标的预测结果和真实值的交集和并集的比值来表示,交并比越大,表明数据越接近真实。公式为fIOU=C GC G,(3)式中,C 为本研究方法分割结果;G 为基于 labelme 工具的标准分割结果。3 结果分析经训练后,本研究 U-Net 网络模型训练时间为990.13 min,在第 55 次 epoch 时损失值不再下降,停止训练。其 Loss 值为 0.060 1,充分表明模型在训练过程中能更好地更新模型参数,有效降低模型风险。模型像素准确率为 0.965 4,说明该网络模型具有较强的预测能力。模型 F1值为 0.952 5,表明该模型针对爆堆矿石图像预测性能良好,模型可应用于爆堆矿石图像分割。将爆堆矿石图像(图 5(a)作为模型输入,经预测后得到爆堆矿石图像初步分割结果,如572 阚玉达:基于 U-Net 和改进分水岭算法的露天矿爆堆矿石图像分割方法 2023 年第 8 期图 5(b)所示。图 5 U-Net 网络模型预测结果Fig.5 Prediction results of U-Net network model由图 5 可知:分割结果中存在分割粘连现象,这是由于爆堆矿石图像中矿石目标分布密集、边缘对比度低和相互堆叠所致。基于距离运算的分水岭算法可有效消除图像分割结果中的欠分割现象。因此,本研究采用基于距离运算的分水岭算法进一步优化 U-Net 网络预测后的爆堆矿石图像分割结果,同时利用形态学运算优化其结果,结果如图 6 所示。图 6 基于距离运算的分水岭算法优化结果Fig.6 Optimization results of watershed algorithm based on distance operation通过对比分析图 5(b)和图 6 可知:优化后的结果可有效解决 U-Net 网络模型预测结果中的欠分割现象,进一步提升爆堆矿石图像分割的准确性。为了定量评价本研究方法精度,利用 labelme 手动标注工具标注上述原始爆堆矿石图像,获取爆堆矿石图像真实分割结果,并结合 U-Net 网络模型预测结果和基于距离运算的分水岭算法优化结果,计算交并比。结果表明:U-Net 网络模型预测结果交并比为90.75%,利用基于距离运算的分水岭算法优化后结果的交并比为 91.22%,表明利用基于距离运算的分水岭算法可有效提升 U-Net 网络预测精度,为露天矿爆破大块率统计提供更可靠的依据。4 结 语大块率准确解算是智能评价爆破效果的重要前提,本研究依据现场爆破矿石图片,提出了一种基于U-Net 和改进分水岭算法的露天矿爆堆矿石图像分割方法,可精准统计爆破大块率。所得结论如下:(1)本研究所构建 U-Net 网络模型针对爆堆矿石图像分割具有较强的预测能力,且性能良好,其Loss 值、像素准确度和 F1值分别为0.060 1、0.965 4、0.952 5。(2)基于距离运算的分水岭算法能够有效处理U-Net 模型预测结果中的欠分割现象,有效提升爆堆矿石图像分割精度。(3)利用本研究方法可较为准确地分割爆破矿石图像,有助于高效解决矿石目标分布密集、边缘对比度低及欠分割等问题,对于提高爆破效果评价的智能化水平大有裨益。参 考 文 献1 谢先启,黄小武,姚颖康,等.露天深孔台阶精细爆破技术研究进展J.金属矿山,2022(7):7-18.XIE Xianqi,HUANG Xiaowu,YAO Yingkang,et al.Study prospect of precision blasting technology in open-pit deep hole benchJ.Metal Mine,2022(7):7-18.2 汪旭光,吴春平.智能爆破的产生背景及新思维J.金属矿山,2022(7):2-6.WANG Xuguang,WU Chunping.Background and new thinking a-bout intelligent blastingJ.Metal Mine,2022(7):2-6.3 吴春平,汪旭光.智能爆破的基本概念与研究内容J.金属矿山,2023(5):59-63.WU Chunping,WAANG Xuguang.Basic concepts and research con-tents about intelligent blastingJ.Metal Mine,2023(5):59-63.4 BAHRAMI A,MONJEZI M,GOSHTASBI K,et al.Prediction of rock fragmentation due to blasting using artificial neural networkJ.En-gineering with Computers,2011,27(2):177-181.5 周涛,霍兵强,陆惠玲,等.残差神经网络及其在医学图像处理中的应用研究J.电子学报,2020,48(7):1436-1447.ZHOU Tao,HUO Bingqiang,LU Huiling,et al.Research on residal neural network and its application on medical image processingJ.Acta Electronica Sinica,2020,48(7):1436-1447.6 栾国欣,魏颖,薛定宇.一种改进的边界法向量叠加疑似肺结节提取J.东北大学学报(自然科学版),2010,31(8):1078-1081.LUAN Guoxin,WEI Ying,XUE Dingyu.An improved algorithm based on boundary normal vector overlap for suspected pulmonary nodule extractionJ.Journal of Northeastern University(Natural Science),2010,31(8):1078-1081.7 SHAHRIRI H,RANJBAR H,HONARMAND M.Image segmentation for hydrothermal alteration mapping using PCA and concentration-ar-ea fractal modelJ.Natural Resources Research,2013,22(3):672总第 566 期 金 属 矿 山 2023 年第 8 期191-206.8 林文杰,李玉,赵泉华.结合 MST 划分和 RHMRF-FCM 算法的高分辨率遥感图像分割J.测绘学报,2019,48(1):64-74.LIN Wenjie,LI Yu,ZHAO Quanhua.High-resolution remote sensing image segmentation using minimum spanning tree tessellation and RH MRF-FCM algorithmJ.Acta geodaetica et Cartographica Sini-ca,2019,48(1):64-74.9 CHEN L F,MARK LIAO H Y,KO M T,et al.A new LDA-based face recognition system which can solve the small sample size prob-lem J.Pattern Recognition,2000,33(10):1713-1726.10 吕林,尹君,胡振襄.基于图像处理的岩体块度分析系统J.金属矿山,2011(2):118-121.L Lin,YIN Jun,HU Zhenxiang.Rock fragmentation statistics pro-gram based on image processing technologyJ.Metal Mine,2011(2):118-121.11 荆永滨,冯兴隆,张凯铭,等.基于块体二维图形的岩块三维筛分尺寸研究J.金属矿山,2020(4):46-51.JING Yongbin,FENG Xinglong,ZHANG Kaiming,et al.Study on 3D sieve dimensions of rock blocks based on the 2D shape of blockJ.Metal Mine,2020(4):46-51.12 梁光明,唐朝京,刘东华,等.基于分割评价的多层次自适应双阈值分割算法J.电子学报,2009,37(4):750-752,763.LIANG Guangming,TANG Chaojing,LIU Donghua,et al.A multi-level and adaptive dual threshold segmentation algorithm based on evaluationJ.Acta Electronica Sinica,2009,37(4):750-752,763.13 FUKUNAGA K,HOSTETLER L.The estimation of the gradient of a density function,with applications in pattern recognitionJ.IEEE Transactions on Information Theory,1975:32-40.14 CHENG Y.Mean shift,mode seeking,and clusteringJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.15LONG J,SHELHAMER E,DARRELL T.Fully convolutional net-works for semantic segmentationJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,39(4):640-651.16 BADRINARAYANAN V,KENDALL A,CIPOLLA R.SegNet:a deep convolutional encoder-decoder architecture for image segmen-tationJ.IEEE Transactions on Pattern Analysis&Machine In-telligence,2017,12(8):11-18.17 李鸿翔,王晓丽,阳春华,等.基于 GAN-UNet 的矿石图像分割方法J.控制理论与应用,2021,38(9):1393-1398.LI Hongxiang,WANG Xiaoli,YANG Chunhua,et al.Ore image segmentation method based on GAN-UNetJ.Control Theory&Applications,2021,38(9):1393-1398.18 LI Y,DUAN Y.A method of ore image segmentation based on deep learningJ.Lecture Notes in Computer Science,2018,508:508-519.19 顾清华,危发文,郭梦利,等.基于改进 HED 网络模型的破碎矿石图像分割方法J.激光与光电子学进展,2022,59(2):262-270.GU Qinghua,WEI Fawen,GUO Mengli,et al.Segmentation method of broken ore image based on improved HED network model J.Laser&Optoelectronics Progress,2022,59(2):262-270.772 阚玉达:基于 U-Net 和改进分水岭算法的露天矿爆堆矿石图像分割方法 2023 年第 8 期