基于Mask_R-CNN结合边缘分割的颗粒物图像检测_李轩.pdf

文章编号：1002-2082(2023)01-0093-11基于 MaskR-CNN 结合边缘分割的颗粒物图像检测李轩，杨舟，陶新宇，王晓杰，莫绪涛，黄仙山（安徽工业大学数理科学与工程学院，安徽马鞍山243002）摘摘 要：要：对颗粒物的尺寸检测是生产中重要的环节，使用相机采集图像并处理是常用的非接触检测方法。围绕颗粒物的识别与尺寸检测需求，选用沙粒为检测对象，提出了一种改进颗粒物边界掩膜的 MaskR-CNN 模型。该模型结合经典的边缘检测技术，并利用深度学习模型预测掩膜，根据边缘分割的结果来得到更高精度的掩膜。使用 DenseNet 作为检测网络的主干网络，使得整体网络参数量更少，并利用通道注意力机制加强网络的特征提取能力。实验结果表明，改进的网络可以提高检测的精度，且结合图像处理的方式能够改善掩膜尺寸检测的准确度，为颗粒物的工业检测提供了一种有意义的方法。关键词：关键词：颗粒物检测；深度学习；图像分割；机器视觉；尺寸分布中图分类号：TN911.73；TP391.4文献标志码：ADOI：10.5768/JAO202344.0102005Particles image detection based on Mask R-CNN combined with edge segmentationLIXuan，YANGZhou，TAOXinyu，WANGXiaojie，MOXutao，HUANGXianshan（SchoolofMathematicsandPhysics,AnhuiUniversityofTechnology,Maanshan243002,China）Abstract：Particlessizedetectionisanimportantlinkinproduction,andtheuseofcamerastocaptureandprocessimagesisacommonly-usednon-contactdetectionmethod.Tomeettherequirementsofidentificationandsizedetectionofparticles,thesandparticleswereselectedasthedetectionobject,andaMaskR-CNNmodel with the improved boundary mask of particles was proposed.Combined with the classical edgedetection technology,the deep learning model was used to predict the mask,and the mask with higherprecisionwasobtainedaccordingtotheresultsofedgesegmentation.TheDenseNetwasusedasthebackbonenetworkofthenetworkdetectiontoreducethenumberofnetworkparameters,andthechannelattentionmechanismwasusedtostrengthenthefeatureextractionabilityofthenetwork.Theexperimentsshowthattheimprovednetworkcanimprovethedetectionaccuracy,andthecombinationofimageprocessingcanimprovetheaccuracyofmasksizedetection,whichprovidesameaningfulmethodforindustrialdetectionofparticles.Key words：particlesdetection；deeplearning；imagesegmentation；machinevision；sizedistribution引言随着国家对环保的重视，天然砂被限制开发，废弃矿石被应用在制砂中，机制砂被推广开来。在 GB/T14684-2011 中对机制砂有着尺寸的要求，在破碎矿石制砂过程中需要对砂石颗粒物的尺寸进行检测，根据检测结果对加工过程进行指导。同样地，由于颗粒物为生产环节中一个重要的材料形态，因此在各种加工过程中需要对其尺寸、形状等方面进行监测，且对颗粒物的整体分布有具体范围的限制。对于颗粒物粒度的检测，现在已有多种检测仪器。使用图像粒度分析仪/激光粒度分析仪可得到样本颗粒的各种尺寸信息，其中最常用的是尺寸分布，根据尺寸分布可得到整个样本的情况。粒收稿日期：2022-01-22；修回日期：2022-03-30基金项目：国家自然科学基金（11975023）；安徽省高校自然科学研究项目(KJ2020A0238，KJ2019A0049)作者简介：李轩（1997），男，硕士研究生，主要从事图像检测与深度学习方面的研究。E-mail：通信作者：黄仙山（1974），男，博士，教授，主要从事图像识别与检测方面的研究。E-mail：H第44卷第1期应用光学Vol.44No.12023年1月JournalofAppliedOpticsJan.2023度分析仪是使用相机对分散的颗粒物进行成像，对相互分散的颗粒能够较容易地判别其颗粒物的尺寸。这里常用图像处理的方法来检测目标物，通过边缘分割1、阈值分割2、图像分水岭3等方法进行处理；但传统图像处理方法对待检测物的形态、颜色等特征需要进行精确的设置才能达到较好的效果。随着计算机硬件与深度学习技术的发展，以分类与回归为基础的神经网络算法有着巨大的进步。语义分割（semanticsegmentation）网络与目标检测（objectdetection）网络也被应用到颗粒物的检测上，相对于传统的图像分割算法具有更强的鲁棒性。语义分割4-5网络是对图像所有像素点进行分类，进而把目标物像素分割出来，但语义分割网络不能分割出同一类别的单个目标。目标检测网络是预测物体的位置和类别，可以分为基于候选区域的两阶段算法6-7和基于回归的单阶段算法8-9。在语义分割和目标检测的基础上，实例分割10可以找到每个物体的位置并且分割出物体的像素11-12。使用深度学习方法对颗粒物粒度的检测可以分为对尺寸的定性判断和定量计算。定性判断是对颗粒进行分类13，而在对粒度的定量计算上，对颗粒物图像进行检测的深度学习算法可以分为两类：一类是利用语义分割网络，在颗粒物较为分散的情况下，使用语义分割14网络对图像进行预测，得到物体的预测掩膜；在颗粒物有部分接触堆叠的情况下，为了得到单个颗粒物的预测掩膜，需要对语义分割的结果进行后处理，对接触点的位置进行分离15，或者利用分水岭算法分割预测掩膜16。另一类是利用目标识别网络或者实例分割网络识别每个颗粒，利用网络的检测能力得到颗粒物的位置与类别信息17-18，然后对目标区域进行分割19。为了能够对沙粒等颗粒物图像进行准确的分割，本文提出改进掩膜的 MaskR-CNN 网络。在模型主体方面，使用 DenseNet20作为主干网络，并利用通道注意力机制对 DenseNet 输出的特征层进行增强。在输出的预测掩膜上，由于图像中物体的边缘信息更加符合物体的轮廓，所以使用边缘分割结合网络的预测掩膜生成符合颗粒物边界的掩膜，能够更准确地得到颗粒物尺寸，为深度学习方法结合图像处理应用于物体检测提供了新思路。1 检测模型1.1 Mask R-CNN 模型在实例分割网络中，MaskR-CNN12网络是最常用到的网络之一，被应用到多个领域，且检测效果较好。MaskR-CNN 是一种基于区域提议的两阶段算法，在 FasterR-CNN6的基础上发展而来。该算法第 1 个阶段是使用区域提议网络(regionproposednetwork,RPN)，根据特征层生成提议区域；第 2 个阶段是利用提议区域在特征层上选取感兴趣区域(regionofinterest,RoI)，根据 RoI 对应的特征层利用检测头进行分类与回归，得到物体最终的位置和分类信息；接着利用物体预测框对目标进行语义分割，最终得到物体掩膜，整体网络结构如图 1 所示。MaskR-CNN 网络的检测过程如下:首先将图像输入到主干（Backbone）网络，得到一组主干特征层。将不同的主干特征层进行上采样叠加，组成特征金字塔（featurepyramidnetwork，FPN）21放入 RPN 网络中；利用 RPN 进行初步物体的位置回归和分类，预测得到一系列提议区域；利用RoIAlign 将对应特征层中的提议区域提取一组特征向量，根据特征向量对 RoI 进行分类和边框回归；调整后利用置信度阈值和非最大抑制进行筛选，得到最终预测框和分类；根据最终预测框对特征层进行裁切，利用语义分割网络生成预测掩膜。网络整体使用多任务输入输出，模型的整体损失 Lloss为Lloss=Lclass(RPN)+Lreg(RPN)+Lclass(RoI)+Lreg(RoI)+Lmask(RoI)（1）模型整体损失由 2 个部分组成，一部分是RPN 网络的损失，包含 Lclass(RPN)和 Lreg(RPN)；另一部分是对候选区域进行具体分类、回归和掩膜预测的损失，包含 Lclass(RoI)、Lreg(RoI)和 Lmask(RoI)。损失具体计算如(2)式所示：Lclass=1Nclassilgqipi+(1qi)(1 pi)Lreg=1NregiqiSmoothL1(titi)SmoothL1(x)=0.5x2,|x|1|x|0.5,|x|1Lmask=1m2isilgsigmoid(xi)+(1si)lg1sigmoid(xi)（2）94应用光学第44卷第1期式中：Lclass为分类交叉熵损失；Nclass为分类归一化系数；Lclass（RPN）为二分类交叉熵损失；Lclass（RoI）为多分类交叉熵损失；pi表示框预测为正确目标的置信度；qi表示把对应区域分为前景与背景，取值为 1(前景)或 0(背景)；Lreg为回归损失函数；Nreg为回归归一化系数，Lreg（RPN）与 Lreg（ROI）形式一样；ti为预测的目标边界框的位置坐标；ti*为实际的目标边界框；Lmask为平均二值交叉熵损失函数；m 为 RoI 处理之后的长宽；xi为预测区域像素；si为像素对应分类的概率。1.2 主干网络的改进由于检测的沙粒一般具有形状不规则与尺寸小的特点，因此需要更多的低层特征进行判别。在 MaskR-CNN 中网络初始使用 ResNet(残差网络)作为主干网络，主要由两种模块组成，分别为调整网络尺寸维度的 Convbolck 与加深网络的Identityblock。对于使用残差结构的网络，若输入为特征层 M，则输出为 N=Add(M0,M1)，其中 M0可以是输入的特征层，也可以是经过浅层卷积的特征层；M1为经过多层卷积的特征层，用来增加网络深度。使用这种低层特征与高层特征相加的结构，可以在反向传播时使得参数调整更轻易地传播到低层网络中，以便更好地利用低层特征层。DenseNet15结构与 ResNet 结构类似，是卷积层之间的密集连接，网络特征传播效率更高，可以对每个特征层进行重复利用。DenseNet 由多个Denseblock 模块组成，网络中的 Denseblock 模块的输入为特征层 M，由 Mi层经过卷积得到 Mi+1层，则Denseblock 模块的输出为 N=Concatenate(M1,M2,Mi,Mn)，其中 Mi为模块中第 i 层的输入，也是第i1 层的输出，如图 2(a)所示，为 4 个卷积组成的Denseblock 模块，其中 BN(batchnormalization)表示BackboneMaxPoolingFPNConvUpsamplingConvConvUpsamplingConvConvUpsamplingConvConvConvRPNConvReshapeConvReshapeSoftmaxClass,BoxRoIAlign4Conv+BN+ReluConvT+ReluConv+SigmoidMasks2Conv+BN+ReluDense+ReluReshapeBoxesDense+ReluSoftmaxClasses输入图像检测结果显示图图 1 Mask R-CNN 结构Fig.1 Structure diagram of Mask R-CNNBN+Relu+ConvBN+Relu+ConvBN+Relu+ConvBN+Relu+Conv(a)(b)Featurte_mapFeaturte_mapSigmoidFCFCFCFCGlobalMaxPoolingGlobalAvgPooling图 2 DenseBlock 模块和通道注意力模块Fig.2 Structure diagram of Denseblock module and chan-nel attention module应用光学2023，44（1）李轩，等：基于 MaskR-CNN 结合边缘分割的颗粒物图像检测95批归一化，用于对输入数据进行优化；Relu(rectifiedlinearunits)为 激 活 函 数；Conv 为 二 维 卷 积，在Denseblock 模块中进行多次的卷积加深网络。通道注意力机制22-23是利用通道的全局信息对不同特征通道进行有选择地加强与抑制，来提高网络的特征表达能力，通道注意力机制如图 2(b)所示。由于 DenseNet 是把特征层进行通道之间的拼接操作，即是可以用通道注意力机制对输出特征层进行选择，来加强有用特征层的响应。为了方便说明，下文称添加通道注意力机制的 DenseNet网络为 DenseAttention(DenseAtt)网络，网络整体结构如图 3(a)所示。DenseAttention(4Conv)DenseAttention(9Conv)DenseAttention(6Conv)DenseAttention(4Conv)Output_featurte_mapSigmoidBN+Relu+Conv+AveragePoolingInput_featurte_mapZeroPadding+Conv+BN+Relu+MaxPooling(a)(b)图 3 DenseAttention 网络Fig.3 Structure diagram of DenseAttention network主干网络整体有 5 个输出的特征层，其中DenseAtt 网络具体的组成如图 3(b)所示。对于输入的特征层，首先通过 Denseblock 模块把不同卷积深度的特征层拼接到一起作为输出；对 Dense-block 模块输出的特征层使用卷积和平均池化调整特征层的输出维度；输出的特征层经过全局池化和全连接层可以得到一维的特征量，特征量与输入的特征层通道数相同；利用这组特征量对 Dense-block 模块输出的特征层进行相乘，即利用这组特征量的参数对不同特征层进行加权计算，加权计算的结果作为 DenseAtt 模块的输出特征层。1.3 输出掩膜的改进语义分割网络输出的掩膜，通常是特征层网络分类预测得到的，分割精度与网络特征提取能力有关。在 MaskR-CNN 中是利用预测框对图像选取感兴趣区域，然后使用相应位置的特征层预测掩膜。由于网络在进行特征提取时会损失部分信息，这会导致网络预测的掩膜存在一定误差。对比之下，对图像直接进行处理可以得到较为符合物体边缘的信息，因此本文提出改进掩膜的 MaskR-CNN。根据以上分析，对 MaskR-CNN 推理之后的结果改进，主要是对输出的掩膜进行修改，使输出掩膜的边缘为实际颗粒物的边缘。改进的 MaskR-CNN 网络架构如图 4 所示，在网络进行预测推理后，对掩膜进行处理。调整网络预测的物体框，如图4(a)所示，利用预测框得到RoI 如图4(b)所示；对RoI进行边缘检测，得到如图 4(c)所示的边缘分割线；利用这些边缘分割线把整个 RoI 区域分割成若干离散的区域，如图 4(d)所示为相互分离的候选掩膜；利用模型预测的掩膜（图 4(e)）与候选掩膜进行求相交，当相交部分占候选掩膜整体的比例超过阈值时，表示该候选掩膜属于物体的一部分，选出所有占比大于阈值的候选掩膜，如图 4(f)所示；把被选出的候选掩膜进行组合，得到最终的掩膜，如图 4(g)。最终的输出掩膜是根据边缘检测得到的，并且利用网络预测的掩膜进行选择，能够更准确地表示该物体的边界。在上述图像处理中，当图像纹理过于复杂或者与背景差异不大时，会使图像边界检测效果不佳，导致在后面根据相交选择候选掩膜时，出现半个区域或整个区域被选择的现象，在这种情况下，输出的掩膜为半个区域。为了避免这种错误输出，在输出时判断 RoI 中几个固定点的值，选择的点为中心点和 RoI 的 4 个角位置的点。通常状态下，中心点属于掩膜部分，而掩膜对应区域的 4 个角位置的点则不属于物体，根据这 5 个点的数值判断掩膜是否进行输出；当不符合条件时，使用原本模型预测的掩膜作为输出掩膜。大多数情况下模型使用改进的掩膜作为输出，只有在判断输出的掩膜进行出错时使用模型预测的掩膜作为输出。本文方法利用了预测模型的鲁棒性以及图像处理的准确性，下文进行实验验证。2 实验测试2.1 数据采集与图像标注本研究使用河沙图像进行实验，利用筛网对河沙进行筛选泥土，把采集的沙粒放置平面进行拍96应用光学第44卷第1期摄。本研究使用一个 25921944 像素的彩色相机，使用的镜头为 25mm 焦距的定焦镜头，使用穹顶光源作为照明光源，拍摄示意图如图 5 所示。在这里使用 3mm 的棋盘格标定板对相机进行标定，经过计算得到的像素当量为 k=0.03324mm/pixel，根据像素当量可以计算像素尺寸与实际尺寸的关系。沙粒相对于其他颗粒的不同之处在于其形状不规则，并且整体的颜色变化较大，如图 5 中(a)、(b)、(c)所示。光源砂石样本相机(a)(b)(c)图 5 图像采集示意图Fig.5 Schematic diagram of image acquisition对采集到的图像进行标注，训练集使用 75 张不同的图像，其中包含 6906 个沙粒标注样本。验证集中包含 30 张图像，共 2491 个标注样本。为了测试模型检测沙粒不同数目下的结果，把测试集分为 3 组，每组 10 幅图，这 3 组中每幅图约有 50、100 和150 个数目的沙粒，3 组共计标注样本2990 个。2.2 模型训练本文的实验采用 inteli7-10750HCPU 和 NVIDAGeForceRTX2060GPU，基于Python 下的TensorFlow平台搭建而成。网络设置超参数为：学习率 0.001，每个 epoch 训练 250 个 step，训练批大小为 1，总共训练 100 个 epoch，对输入图像采用 512512 像素大小。RPN 的不同特征层 Anchors 设置大小为 16,32,64,128,256，滑窗步幅为 4,8,16,32,64，每层Anchors 设置比例为 0.5,1,2。对比不同主干网络的训练情况，训练的损失如图 6 所示，可见本文的DenseAttention 主干网络在训练后，网络反向传播效率更高，训练损失与验证损失更低。86Loss420050100EpochResNet-trainResNet-valDenseNet-trainDenseNet-valDenseAttention-trainDenseAttention-val图 6 不同主干网络的训练过程损失曲线Fig.6 Loss curves of training process of different backbonenetworks2.3 评价指标对检测模型的评价通常可以使用平均准确度(averageprecision,AP)和交并比(intersectionoveruni-on,IoU)。AP 的大小能够表示模型检测效果的优输入图像CNNRPNRoIAlignImageBoxesMasksBoxesMasks生成掩膜预测分类预测框预测掩膜原始图像裁剪图像裁剪分散的掩膜判断选择掩膜组合掩膜通过边缘检测进行分割预测框预测掩膜(a)(b)(c)(d)(e)(f)(g)图 4 改进掩膜的 Mask R-CNN 模型Fig.4 Structure diagram of Mask R-CNN model of improved mask应用光学2023，44（1）李轩，等：基于 MaskR-CNN 结合边缘分割的颗粒物图像检测97劣，其由 2 个部分组成，准确度(P)和召回率(R)。准确度表示在检测到的所有样本中为正确样本的比例，如(3)式所示，其中 TP表示检测到的正确样本数，FP表示检测到的错误样本数。召回率表示检测到的正确样本占所有正确样本的比例，如(4)式所示，其中 FN表示分类错误的负样本数。准确度和召回率为互逆的关系，通常使用 AP 作为综合的评价标准，如(5)式所示。而交并比常用在评价预测框或者预测掩膜的准确度，用真值区域和预测区域的交集与并集的比例表示，如(6)式所示，其中 Agt表示真值区域，Apre表示预测区域。P=TpTp+FP（3）R=TPTP+FN（4）AP=10P(R)d(R)（5）IoU=AgtApreAgtApre（6）对颗粒检测后，通常需要颗粒物的尺寸分布，尺寸分布可以描述整个颗粒物样本的状态，它可以是等效粒径的尺寸分布、颗粒长短轴和面积的尺寸分布。本文利用面积分布进行评价，使用检测的面积作为筛选依据计算颗粒物的粒度累计曲线，类比在 GB/T14684-2011 中计算筛网过滤后剩余的颗粒物的占比。对于模型检测到的颗粒物数 N 与颗粒物面积数组 Si(i=1,N)，按照像素面积 Ci(i=1,m)的大小分为 m 个类别，面积类别像素数 0 到 S；使用 xi(i=1,m)表示面积大于 Ci1且小于 Ci的沙粒样本数目，则尺寸分布表示为D=x1,x2,xm。同样地，计算粒度累计曲线，使用pi(i=1,m)表示面积大于 Ci的沙粒样本数目，则粒度累计曲线描述为 C=p1,p2,pm。本文用尺寸分布相关性24对图中颗粒物的尺寸分布作整体评价。在这里用沙粒掩膜面积作为沙粒尺寸，通过计算实际掩膜尺寸分布与预测掩膜尺寸分布之间的相关性，对模型的掩膜检测效果进行量化评价。颗粒物尺寸分布相关性表示为Cdistribution=ni=1(xi x)(yi y)ni=1(xi x)2ni=1(yi y)2（7）xiiyii x yCdistribution式中：是实际掩膜的尺寸分布 Dtrue中第 个数；是与预测掩膜的尺寸分布 Dpre中第 个数；表示实际分布 Dtrue的期望值；表示预测分布 Dpre的期望值。的值越大就表示两组数之间的关联性越强，即检测得到的尺寸分布越好。3 实验结果与分析3.1 检测的准确度评价对不同主干网络的 MaskR-CNN 进行对比，其中基准的 ResNet 网络使用 ResNet50 作为主干网络；DenseNet 网络以 DenseNet52 作为主干网络；DenseAttention 是以本文通过通道注意力机制改进的 DenseNet 作为主干网络。对于采集的图像，构建 3 个测试样本集，每个样本集包含 10 幅图。测试集设为 3 个，即阳性样本 490 个、阳性样本 1000 个及 1500 个。针对所搭建的模型，计算了 3 个样本集的平均 AP 值。如表 1 所示，本文 DenseAttention 网络可以在较小的参数下获得精度相当的检测效果。对于 3 组测试集，整体检测的 IoU 对比如表 2 所示，本文改进掩膜的 MaskR-CNN 检测效果得到较大提升，IoU 整体可以达到 80%以上。表 1 不同主干网络的检测精度Table 1 Detection accuracy of different backbone networks主干网络样本集1AP样本集2AP样本集3AP网络权重大小/MBResNet0.9724537290.965826700.968745449106DenseNet0.9537215190.929235140.95206029729.5DenseAttention0.9761174500.944812880.96388169030.8本文对比了不同主干网络与改进算法的计算用时，结果如表 3 所示，本文结合图像处理的方法能在计算量增加较小的情况下提升检测效果。3.2 不同方法检测效果对比颗粒物的检测方法有许多，在颗粒图像分析仪中常用的方法有分水岭分割3、阈值分割2、边缘检测分割等。除此之外，基于深度学习的语义分割及其改进方法16也可用于颗粒物的识别分割。不同方法对比分割结果如图 7 所示，对比方法有MaskR-CNN 及本文改进掩膜的 MaskR-CNN、UNet98应用光学第44卷第1期语义分割、UNet+Watershed、Canny 边缘分割和分水岭分割。图 7 中包含检测效果图和检测得到的尺寸分布图，为了直观判断不同方法分割检测的结果，把对应输出的区域使用不同的颜色描绘出来。图 7(a1)和 7(a2)分别是原图和标签；图 7(b1)、7(c1)和 7(d1)表 2 改进前后的 IoU 对比Table 2 IoU comparison before and after improvement样本集ResNet原模型DenseNet原模型DenseAtt原模型ResNet改进模型DenseNet改进模型DenseAtt改进模型样本集10.7148100.6626480.7146380.8725220.8490030.866694样本集20.6841410.6549700.6985840.8418690.8367590.843355样本集30.7187320.6695500.7103280.8526130.8370460.833949表 3 不同网络的平均检测时间Table 3 Mean detection time of different networkss样本集ResNet原模型DenseNet原模型DenseAtt原模型ResNet改进模型DenseNet改进模型DenseAtt改进模型样本集10.5089240.5560570.5584420.6887020.7035270.726827样本集20.6084560.6343760.6636170.9343230.9307220.991752样本集30.6591900.6775580.6802010.9260700.9357170.951665(a1)原图(b1)ResNet+原模型(c1)DenseNet+原模型(d1)DenseAtt+原模型7060实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%1520(a2)标签数据(b2)ResNet+改进模型(c2)DenseNet+改进模型(d2)DenseAtt+改进模型7060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%15207060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%15207060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%15207060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%15207060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%15207060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%1520实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线实际尺寸分布实际累计曲线实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线应用光学2023，44（1）李轩，等：基于 MaskR-CNN 结合边缘分割的颗粒物图像检测99分别为初始MaskR-CNN 在主干网络ResNet、Dense-Net 和 DenseAttention 下的检测效果；图 7(b2)、7(c2)和 7(d2)分别为改进掩膜的 MaskR-CNN 对不同主干网络 ResNet、DenseNet 和 DenseAttention 的检测效果；图 7(e)为 UNet 分割得到的图像；图 7(f)为UNet+Watershed 分割结果；图 7(g)为 Canny 边缘检测分割结果；图 7(h)为 Watershed 分割结果。从图 7(b1)、7(c1)、7(d1)与图 7(b2)、7(c2)、7(d2)的对比能够看到，本文改进掩膜对检测效果有较大提升；而其他检测方法，如基于语义分割的图 7(e)、7(f)和基于图像处理分割的图 7(g)、7(h)检测效果存在较大误差，这是因为颗粒相互接触时不能区分单独的颗粒，产生了较多的错误分割。总的来说，基于图像处理的方法对相互接触的颗粒物容易欠分割和过分割，所以进一步判别类别和尺寸时会产生较大误差，在样本的颗粒检测中无法进行有效检测。使用人工标注的掩膜尺寸分布作为实际尺寸分布，对 3.1 节所述的 3 个测试集样本使用不同网络进行检测，检测得到具体的尺寸分布如图 8 所(e)UNet7060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%1520(f)UNet+分水岭7060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%1520(g)Canny边缘分割7060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%1520(h)分水岭分割7060504030颗粒数目201006080100402000510颗粒面积/mm2粒度累计占比/%1520实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线实际尺寸分布预测尺寸分布实际累计曲线预测累计曲线图 7 不同主干网络的检测效果Fig.7 Detection effect of different backbone networks12实际尺寸分布ResNetResNet+改进模型实际累计曲线ResNetResNet+改进模型10864206080100402000510颗粒面积/mm2(a1)ResNet及其改进模型(a2)ResNet及其改进模型(a3)ResNet及其改进模型(b1)DenseNet及其改进(b2)DenseNet及其改进(b3)DenseNet及其改进(c1)DenseAtt及其改进(c2)DenseAtt及其改进(c3)DenseAtt及其改进1520201814106216128406080100402000510颗粒面积/mm2粒度累计占比/%1520504560553525颗粒数目1554030201005045605535251554030201005045605535251554030201006080100402000510颗粒面积/mm2粒度累计占比/%1520实际尺寸分布ResNetResNet+改进模型实际累计曲线ResNetResNet+改进模型实际尺寸分布ResNetResNet+改进模型实际累计曲线ResNetResNet+改进模型12实际尺寸分布DenseNetDenseNet+改进模型实际累计曲线DenseNetDenseNet+改进模型10864206080100402000510颗粒面积/mm2粒度累计占比/%152020181410颗粒数目6216128406080100402000510颗粒面积/mm2粒度累计占比/%1520颗粒数目6080100402000510颗粒面积/mm2粒度累计占比/%1520实际尺寸分布DenseNetDenseNet+改进模型实际累计曲线DenseNetDenseNet+改进模型实际尺寸分布DenseNetDenseNet+改进模型实际累计曲线DenseNetDenseNet+改进模型12实际尺寸分布DenseAttDenseAtt+改进模型实际累计曲线DenseAttDenseAtt+改进模型1086颗粒数目4206080100402000510颗粒面积/mm2粒度累计占比/%152020181410颗粒数目6216128406080100402000510颗粒面积/mm2粒度累计占比/%1520颗粒数目6080100402000510颗粒面积/mm2粒度累计占比/%1520实际尺寸分布DenseAttDenseAtt+改进模型实际累计曲线DenseAttDenseAtt+改进模型实际尺寸分布DenseAttDenseAtt+改进模型实际累计曲线DenseAttDenseAtt+改进模型颗粒数目颗粒数目粒度累计占比/%颗粒数目100应用光学第44卷第1期示。图 8 中 3 列分别为 3 个不同的检测样本集，图 8(a1)8(a3)、图 8(b1)8(b3)、图 8(c1)8(c3)分别为本文不同主干网络的改进掩膜前后检测结果对比，图 8(d)为 UNet 及 UNet+Watershed 的检测效果，图 8(e)为 Canny 边缘分割和分水岭分割的检测效果。可以看到本文改进掩膜的 MaskR-CNN在预测的掩膜上更加准确，得到的尺寸分布更加贴近实际尺寸分布。根据粒度累计曲线可以计算各个累计尺寸占比的误差，结果如表 4 所示，改进模型的检测结果整体的误差小于 4%，可以被有效应用于检测整体的颗粒物尺寸的分布。对不同网络预测的掩膜尺寸分布使用相关性进行评价，结果如表 5 所示。本文改进掩膜的 MaskR-CNN 算法在搭配不同的主干网络时都可以达到较好的效果，通常可以检测尺寸分布的相关性达到 90%。从以上结果可以看到，相比于原始的 MaskR-CNN，在相同训练的情况下，本文改进掩膜的 MaskR-CNN 能够更好地预测颗粒掩膜，提升了输出掩膜的准确度；相比于其他经典图像处理算法，在检测尺寸分布和颗粒累计曲线上有着很大的提升；本文方法在 IoU 的结果上有 10%15%的提升，达到 80%以上，颗粒累计占比的误差为 4%，预测掩膜的尺寸分布与实际掩膜尺寸分布达到强相关，能够完成分析颗粒物粒度的作用。4 结论本文提出一种改进掩膜的 MaskR-CNN 的颗粒物检测与尺寸分布测量方法，能够用于颗粒物的尺寸分布检测，相比于其他图像检测方法，本文表 4 不同方法的颗粒累计占比误差的统计标准差Table 4 Statistical standard deviation of particles accum-ulative proportion error of different methods方法样本集1样本集2样本集3Canny0.2700280.2434270.154735Watershed0.2236090.2076370.155501UNet0.2564730.2288260.183079UNet+Watershed0.3000050.2610200.220387ResNet+原模型0.1580700.1532850.120736DenseNet+原模型0.3689560.3484260.255952DenseAtt+原模型0.1498850.1433150.109891ResNet+改进掩膜0.013807