基于深度学习的自适应苹果图像多缺陷检测.pdf

第 38 卷 第 1 期2024 年 1 月山 东 理 工 大 学 学 报(自 然 科 学 版)Journal of Shandong University of Technology(Natural Science Edition)Vol.38 No.1Jan.2024收稿日期:20230131第一作者:胡天浩,男,;通信作者:高秀敏,男,gxm 文章编号:1672-6197(2024)01-0042-06基于深度学习的自适应苹果图像多缺陷检测胡天浩,高秀敏,华云松,蔡丽君(上海理工大学 光电信息与计算机工程学院,上海 200093)摘要:苹果图像检测中,对较小缺陷识别与分类时,检测时间与精度的平衡问题一直是该领域的研究重点。为实现苹果缺陷的快速高精度检测,提出了一种基于深度学习的 ACE-YOLO 自适应局部图像检测算法,通过深度学习缩小检测区域,利用通道注意力机制把计算机算力集中到局部检测范围以缩短检测时间,采用图像增强算法使检测细节更清晰,通过在模型中增加小目标检测层来提高检测精度。该算法利用深度学习实现局部细节检测,与常规算法相比增加了注意力机制,其检测速度提高了 25%;由于引入了局部图像增强算法,并增加了小目标检测层,其在对 14 类苹果缺陷进行识别时,平均检测精度也由 86.1%提高到 95.2%。实验表明,该算法更适用于苹果缺陷的检测。关键词:苹果缺陷;图像检测;机器学习;注意力机制;小目标检测中图分类号:TP301文献标志码:ADeep learning-based adaptive multi-defect detection in apple imagesHU Tianhao,GAO Xiumin,HUA Yunsong,CAI Lijun(School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)Abstract:In apple image detection,the balance between detection time and accuracy of recognizing andclassifying small defects has always been the research focus.In order to realize the fast and high-precisiondetection of apple defects,this paper proposes an ACE-YOLO adaptive local image detection algorithmbased on deep learning.The algorithm adopts deep learning to reduce the detection area,uses the chan-nel attention mechanism to focus the computer computing power on the local detection range and shortenthe detection time,uses the image enhancement algorithm to make the detection details clearer,and im-proves the detection accuracy by adding a small target detection layer in the model.Compared with con-ventional algorithms,this algorithm improves the detection speed by 25%.The average detectionaccuracy of 14 types of apple defects is also improved from 86.1%to 95.2%,due to the introduction oflocal image enhancement algorithm and the addition of small target detection layer.Experiments show thatthe algorithm is more suitable for apple defect detection.Keywords:apple defects;image detection;machine learning;attention mechanism;small target detec-tion 目前,国内苹果分选仍以人工操作为主,其缺点是人工成本高、效率低 1。国内外学者对苹果缺陷视觉检测做了大量研究。项辉宇等 2通过图像识别与深度学习相结合,运用卷积神经网络 CNN 和支持向量机 SVM 完成苹果缺陷检测;薛勇等 3利用GoogleNet 深度迁移模型实现检测;Fan 等 4采用基于卷积神经网络(CNN)的深度学习架构和经济高效的计算机视觉模块,训练和测试了基于 CNN 的分类架构,测试集的准确性、召回率和特异性分别为96.5%、100.0%和 92.9%。上面文献均未对苹果缺陷种类进行详细分类,缺陷特征也阐述较少。上述文献均未对苹果缺陷种类进行详细分类,缺陷特征也阐述较少。传统苹果图像缺陷检测算法大多针对碰伤、腐烂等大型缺陷进行检测,对小炭疽点这类缺陷往往存在误检或漏检,同时检测精度低,很难实现缺陷分类,如何解决成为苹果图像缺陷检测领域的重点关注问题。目前主流目标检测模型有 Faster R-CNN5、OverFeat6、YOLO7算 法 等,这 些 主 流 算 法 中,YOLO 算法具有检测速度快和检测精度高的特点,已得到广泛应用。YOLO 算法中的 YOLOV5 因其具有模型尺寸小、部署成本低、灵活性高、检测速度快、检测精度高的优点,在目标检测领域中被广泛应用,但其下采样率过大、SSD 一阶算法缺乏特征融合的缺点,使其在小目标检测领域表现欠佳,检测速度和检测精度也很难兼顾。基于以上苹果缺陷检测的现状,本文提出一种ACE-YOLO 自适应局部图像检测算法,先确定检测区域,引入通道注意力机制 8,将算力集中到该检测区域,利用图像增强9强化缺陷细节,通过在模型中增加小目标检测层10,解决检测速度与精度平衡问题。1ACE-YOLO 自适应局部图像检测算法1.1 YOLOV5L 网络架构YOLOV511一共有 4 种模型(S,M,L,X),根据不同的检测目标大小以及不同应用场景进行划分,4种模型的整体网络架构均一样,但采用的检测深度和宽度不同。深度和宽度较低的模型检测精度低,而深度和宽度较高的模型检测速度上没优势,兼顾到检测精度和速度,本文基于 YOLOV5L 模型进行改进,其网络架构图如图 1 所示,整个网络结构主要由 3 个部分组成。1)Backbone(特征提取骨干):该部分由 Focus结构与 CSP 结构组成。Focus 结构是图片进入Backbone 前,对图片进行切片操作。CSP 结构先将基础层特征映射划分为两部分,然后通过跨阶段层图 1 YOLOV5 网络架构图次结构将它们合并,在减少计算量的同时可以保证准确率。2)Neck(特征融合):采用 FPN+PAN 的结构。FPN 是自顶向下的,将高层的特征信息通过上采样的方式进行传递融合,得到进行预测的特征图。PAN 是借鉴图像分割领域 PANet 的创新点,使下采样时更利于分割。3)Head(输出端):Head 端对图像特征进行预测,生成边界框并预测类别。1.2 程序流程传统的检测方法是对输入的原始图像进行整张处理,导致计算机算力的大量浪费,本文由于只处理苹果上重点区域的图像,因此,检测速度与检测精度均有大幅提升,系统整体程序流程图如图 2 所示。图 2 系统整体程序流程图检测过程具体步骤如下:步骤一,输入一张原始图像,利用神经网络判定原始图像中是否含有苹果,若有,则记录苹果在图像中具体位置;若无,则结束,继续输入下一张待检苹果图像。34第 1 期 胡天浩,等:基于深度学习的自适应苹果图像多缺陷检测步骤二,使用 ACE 图像增强算法对苹果区域的图像进行处理,同时使用模糊算法,剔除背景因素的干扰,再重构图像。步骤三,将带有苹果缺陷的图像增强后,送入带有小目标检测层的框架,完成苹果多缺陷的检测,并标记出缺陷的种类与位置,以预测框的形式输出。1.2.1 深度学习获取包含待检苹果最小方框图通常来说,苹果图像在原始图像中占比是不大的,在直接对原始图像检测时,会包含大量背景信息,容易造成计算机资源的浪费以及增加检测时间。本文利用神经网络确定原始图像中苹果轮廓的坐标区域,再对此局部进行处理,有效地缩短了检测时间,具体方式如下:先是将一张未经处理的图片在输入端转化为图像大小为 608608 的图片,并进行归一化等操作,使用 Mosaic 数据增强操作提升模型的训练速度和网络的精度,再将处理过的图像以 Focus 结构为主体的基准网络,用于提取苹果的特征(注意:此时提取的特征仅仅是苹果的框图以及苹果在整个图像上的位置信息,并不包含苹果的缺陷)。此时记录下苹果的坐标信息,便于后续实现在此区域的局部图像增强,之后利用 Neck 网络进一步提升特征的多样性及鲁棒性,最后从 Head 输出端完成目标检测结果的输出,并将记录的苹果的坐标信息保存在 txt 格式中。1.2.2 ACE 算法实现苹果局部信息增强将获取的包含待检苹果的最小方框图利用ACE(adaptive contrast enhancement)算法 12进行图像增强,以便将主要计算机算力集中到增强部分,具体实现细节如图 3 所示。图 3ACE 算法流程图ACE 算法具体步骤:第一步,对彩色图像的 R,G,B 通道的信息分别进行处理,求解每一个像素点的 R(x)值,其中s(t)为坡度函数,它对小的差异有着较大的放大作用,对于大的差异也能有不错的效果,能够根据局部内容来扩展或者压缩动态范围,具体公式为R(x)=yxs(I(x)-I(y)x-y,x ,(1)式中:为缩放强度值,其阈值为 0,1 之间;s为坡度函数;I(x)-I(y)为两像素点之差;x-y为两像素点之间的距离。第二步,利用公式(2)将 R(x)扩展到 0,1 之间,使通道得到增强,第二步 y ,y x 得到全局白平衡,具体公式为L(x)=R(x)-RminRmax-Rmin,(2)式中:L(x)为全局白平衡,Rmin为局部最小值,Rmax为局部最大值。最后为求解最优化问题,ACE 算法可以看做是对规范的直方图均衡化方法的一种平滑和局部修正的方法,公式为argmin12x(I(x)-12)2-14Mxyx(x,y)S(I(x)-I(y),(3)式中:(x,y)为两像素点距离的倒数,M 为 Rmax。1.2.3 小目标检测层框架及改进YOLOV5 网络因为过大的下采样率、过大的感受野、语义与空间的矛盾、SSD 一阶算法缺乏特征融合等特性致使在小目标检测领域一直表现不是很好。小目标检测层进行设计时,需要尽可能解决上述的 4 点问题,在小目标检测层的设计上采用了PPM(pyramid pooling module)金 字 塔 池 化 模型 13,该模型可以尽可能地利用全局的上下文信息,对于解决上述问题有很大帮助,PPM 模型的框架如图 4 所示。(a)特征图 (b)金字塔池化图 4 PPM 模型框架图 4(a)为特征图,图 4(b)为 PSPNet 的特征融合部分。对于图像经过 backbone 得到的 featuremap,分别对其进行池化操作,得到尺寸分别为11、22、33、66 的特征图,然后使用 11 卷积把通道裁剪成原本的 1/4,再分别上采样成原先的特征图44山 东 理 工 大 学 学 报(自 然 科 学 版)2024 年尺寸,利用 concat 函数和特征图融合后得到新特征图。小目标检测层改进方式如下:第一步,修改 Anchor 设置。在这一部分主要是增加了一组 Anchor,对于不同的数据集,不同大小的检测目标,类似于苹果缺陷这样的小目标而言,需要将 Anchor 的值在对检测速度影响不大时尽量调小,才能使检测精度增加。第二步,修改检测头部。在这一部分中,主要是对几个操作层进行了优化与改进,在 17 层后,重复对特征图进行上采样,对于特征图的细节进行进一步暴露,同时在 20 层时,将此时获取到的 160160大小的特征图与第 2 层时的特征图进行 concat 融合,从而获得更大细节更多的特征图。在第 31 层后,增加小目标检测层,一共使用 4 层21,24,27,30进行小目标特征检测。在增加检测层后,主要的问题是计算变为更加复杂了,表现在检测时,推理的速度有所降低。不过对于小目标,有很好的改善。同时,得益于对有用细节的局部图像的增强以及对无用信息的模糊化处理,检测速度变慢的趋势并不是很明显。2 实验与分析2.1 数据集的获取与制作开源数据集中的苹果缺陷种类、像素、分辨率等很难达到研究要求,故用 160 个缺陷苹果制作数据集,在保证光源及相机不变的情况下,旋转苹果,对每个苹果的不同角度进行拍摄,共获得 1 600 幅图像,随机以 8 1 1 比例制作 1 280 幅训练集,160幅验证集,160 幅测试集。利用 lableimg 图像标注工具对数据集进行手动标注,缺陷分为 14 类,标注具体类型、数量及其占比见表 1。表 1 中共标注出果梗、果脐等苹果基本信息6 327 个(果脐3 126 个,果梗 3 201 个),14 种缺陷总计 11 064 个。2.2 局部图像增强及背景模糊实验本文采用 4 种彩色图像算法增强进行实验,其中非物理模型方法 3 种:CLAHE、MSRCR、ACE;物理模型1 种:DCP 算法,图5 是4 种模型处理结果的对比。由图 5 可见,采用基于物理模型的 DCP 算法处理结果最差,结果中苹果亮度虽然有所提升但色偏严重,局部信息表现不清楚,色偏导致检测精度更不准确;采用 MSRCR 算法和 CLAHE 算法模型处理的结果存在相同的问题,两者的对比度虽然均有提升,但色偏问题仍然没能得到有效解决,同时增强后图表 1 缺陷类型与数量及其占比缺陷类型数量/个占比/%Rot(腐烂)1070.96Blackspot(黑斑)2 30420.82Blackpoint(黑点)3 25929.45Stab(刺伤)4624.18Scar(疤痕)2482.24Indentation(压痕)6355.74Rift(裂口)1 43712.99Blackhole(黑洞)3683.33Fruitrusseting(果锈)5815.25Droppit(凹坑)2792.52Percussion(碰伤)6075.49Brush-burn(擦伤)3683.33Mildew(霉点)2742.48Anthrax(炭疽)1351.22(a)原图(b)DCP(c)CLAHE(d)MSRCR(e)ACE图 5 4 种图像模型处理结果对比像偏暗;采用 ACE 算法模型处理的结果最好,亮部与暗部区域细节对比最为自然,色偏也基本消失,整体图像亮度也有提升,对于苹果缺陷信息的保留与增强均有优势。54第 1 期 胡天浩,等:基于深度学习的自适应苹果图像多缺陷检测图 6 为局部图像增强以及背景模糊后的 6 种不同苹果缺陷图像。(a)背景模糊前(b)背景模糊后图 6 背景模糊前后图像对比图 6 是利用深度学习找出苹果轮廓在图像中的坐标信息,采用 ACE 算法对该坐标进行局部增强,同时对图像中背景采用模糊算法模糊化后的对比图像。对比图6 中的(a)、(b)可知,(b)图黑色背景已经明显地被模糊化了,检测时不必再浪费算力在背景上,因此大大减少了检测时间。图 6(b)中的 6 张图像,无论在亮度、对比度、饱和度、色调等方面均表现良好,对苹果缺陷细节方面展示也较其他算法更优异,在满足检测需求的要求下,也能更好地提升检测精度。2.3 不同算法检测结果对比2.3.1 性能评价指标为了验证不同算法对苹果缺陷检测性能的影响,在此引入了 2 个重要的评价指标,平均精度 AP(average precision)和平均精度均值 MAP(mean av-erage precision)。P-R 曲线通常被用作信息提取,P-R 曲线的横坐标代表查全率,也就是真正率,纵坐标代表查准率,代表的是正例样本所占比例。P-R曲线可以用来评估模型性能,判定不同模型性能比较权威。而 AP 是计算 P-R 曲线所覆盖的面积,也是用于评判该模型算法好坏指标之一,MAP 则是对所有类别中的 AP 进行平均后得到的:P=TP/(TP+FP),(4)R=TP/(TP+FN),(5)AP=10p(r)dr,(6)MAP=1mm1AP,(7)式(4)中:TP(ture positive)为模型预测为正类的正样本数量,FP(false positive)为被模型预测为正类的负样本数量;式(5)中 FN(false negative)为被模型预测为负类的正样本数量;式(6)中 p(r)为 P-R 曲线;式(7)中 m 为检测目标种类数量。2.3.2 不同模型的性能对比本文在验证不同模型的性能时,仅设置模型的种类为变量,其他条件均相同。在进入检测模型之前,送检的图像均为经 ACE 彩色图像局部增强及背景模糊化处理后的图像,保证对不同模型性能评估的公正性。在本节中,采用了上述 PR 曲线、MAP指标、FPS(检测帧率)、检测时间 4 个维度评估模型的性能。本文共与 8 个比较经典模型的小目标检测进行了对比,其分别为 YOLOV5 中的 middle 模型和large 模型,两者区别为 large 模型的宽度和深度都比 middle 大,但检测时间也相对较长;Faster R-CNN模型;SSD 模型;CBAM-YOLOV5 模型;CA-YOLOV5模型;SE-YOLOV5 模 型;添 加 小 目 标 检 测 层 的YOLOV5L 模型,表 2 为各模型性能指标对比。表 2 9 种模型性能指标对比IndicatorsFPS/HzMAP/%time/msFaster R-CNN36.853.268SSD42.546.773YOLOV5(M)84.776.343YOLOV5(L)76.986.159CBAM-YOLOV595.485.446CA-YOLOV593.284.044SE-YOLOV597.787.947YOLOV5L(带有小目标检测层)86.3194.0328ACE-YOLO(带有小目标检测层)87.195.2246 由表 2 可看出,在检测精度上表现最差的为SSD 模型,其检测速度逊于 Faster R-CNN 模型,检测帧率高于 Faster R-CNN 模型,不过两者都达不到缺陷检测要求;得益于较窄的宽度与较浅的深度,检测速度最快的为 YOLOV5(M),但它在检测精度以及检测帧率上的表现却是这几个模型之中最低的,达不到缺陷检测的要求;YOLOV5(L)因在宽度与深度上均有加深,其 MAP 相较于 YOLOV5(M)有所提升,但也随着宽度与深度的加深导致检测速度也有所增加,不过仍然无法达到缺陷检测需求;引入CBAM、CA、SE 注意力机制的 YOLOV5L 模型,3 种注意力机制加入并没有使其检测精度有明显的提升,说明是否施加注意力机制并不会影响检测精度,由于注意力机制的引入,对计算机算力调用变得合理了,内存占用相较于未施加注意力机制前减少了接近 17 个百分点,FPS 也有着一定的提升;采用带有小目标检测层的 ACE-YOLO 在所有模型中检测64山 东 理 工 大 学 学 报(自 然 科 学 版)2024 年精度是表现最好的,不过由于小目标检测层设计时需要对图像进行分割的特性,导致检测时间也是较长的,不过对于大幅提升的检测精度,246 ms 的检测时间也是能够接受的。图 7 为 ACE-YOLO(带有小目标检测层)并添加 CA 注意力机制的检测结果。图 7 ACE-YOLO 检测结果带有小目标检测层的 ACE-YOLO 模型无论是对炭疽这种比较大的缺陷亦或是对黑点这种小缺陷都有着良好的表现,通过对 FN 与 TP 的统计与计算,漏检情况仅有 0.4%,该漏检产生的原因是由于在局部增强时产生色偏,导致在检测时有着误判,不过该误判率很低,在能够接受范围之内。图8 为带有小目标检测层 ACE-YOLO 模型的 PR 曲线,该曲线表示苹果自身、果梗、果脐以及其余14 种缺陷的检测结果。图 8 ACE-YOLO 模型的 P-R 曲线图 8 对炭疽缺陷检测效果较差。分析后,发现原因如下:(1)由于苹果自然生长,以及在采摘时沾染泥土,导致检测时误判;(2)在图像增强时产生色偏,导致检测结果降低;(3)样本量太少,由于 2022年雨季时间的减少,炭疽病发病率低,在本文研究的这一批苹果样本中,炭疽缺陷个数仅有 135 个,占缺陷信息量的 1.2%。图 8 显示,该模型的平均检测精度仍然达到了95.2%,在小目标检测方面表现优异。3 结束语本文提出的基于深度学习的 ACE-YOLO 自适应局部图像检测算法,有效地解决了苹果检测中小缺陷识别困难的问题,通过局部图像处理技术,在放大苹果缺陷细节的同时,也规避了一些环境干扰因素,利用改进传统的网络结构,在模型中增加小目标检测层,并引入了通道注意力机制,合理调用计算机算力,达到检测精度与检测时间的平衡。实验结果表明,该方法具有较好的苹果缺陷检测效果。参考文献:1李颀,胡家坤.基于机器视觉的苹果在线分级J.食品与机械,2020,36(8):123-128,153.2项辉宇,黄恩浩,冷崇杰,等.基于图像处理与深度学习的苹果检测分级J.食品安全导刊,2022(22):48-53.3薛勇,王立扬,张瑜,等.基于 GoogLeNet 深度迁移学习的苹果缺陷检测方法J.农业机械学报,2020,51(7):30-35.4FAN S X,LI J B,ZHANG Y H,et al.On line detection of defectiveapples using computer vision system combined with deep learningmethodsJ.Journal of Food Engineering,2020,286:110102.5CHEN M Q,YU L J,ZHI C,et al.Improved faster R-CNN for fab-ric defect detection based on Gabor filter with genetic algorithm opti-mizationJ.Computers in Industry,2022,134:103551.6BISWAS D,SU H B,WANG C Y,et al.An automatic car countingsystem using OverFeat frameworkJ.Sensors,2017,17(7):1535.7JIANG P Y,ERGU D J,LIU F Y,et al.A review of Yolo algo-rithm developmentsJ.Procedia Computer Science,2022,199:1066-1073.8NIU Z Y,ZHONG G Q,YU H.A review on the attention mecha-nism of deep learningJ.Neurocomputing,2021,452:48-62.9ANCUTI C O,ANCUTI C,VLEESCHOUWER C,et al.Color bal-ance and fusion for underwater image enhancementJ.IEEE Trans-actions on Image Processing,2017,27(1):379-393.10HAN J H,LIANG K,ZHOU B,et al.Infrared small target detec-tion utilizing the multiscale relative local contrast measure J.IEEE Geoscience and Remote Sensing Letters,2018,15(4):612-616.11NING J,MA M,CHAI L.Review of object detection algorithms fordeep learningJ.Information Recording Materials,2022,23(10):1-4.12CHANG Y K,JUNG C,KE P,et al.Automatic contrast-limitedadaptive histogram equalization with dual gamma correction J.IEEE Access,2018,6:11782-11792.13HE K M,ZHANG X Y,REN S Q,et al.Spatial pyramid pooling indeep convolutional networks for visual recognitionJ.IEEE Trans-actions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.(编辑:杜清玲)74第 1 期 胡天浩,等:基于深度学习的自适应苹果图像多缺陷检测