基于图像局部方差的亮度矫正下番茄表面缺陷检测方法.pdf

基金项目：现代农业产业技术体系（编号：）；北京市乡村振兴科技项目（编号：）作者简介：何婷婷，女，山西农业大学在读硕士研究生。通信作者：岳焕芳（），女，北京市农业技术推广站农艺师，硕士。：收稿日期：改回日期：犇 犗 犐：犼 狊 狆 犼 狓 文章编号 （）基于图像局部方差的亮度矫正下番茄表面缺陷检测方法 何婷婷，犎犈犜 犻 狀 犵 狋 犻 狀 犵，姚继超犢 犃 犗犑 犻 犮 犺 犪 狅张钟莉莉犣犎犃犖犌犣 犺 狅 狀 犵 犾 犻 犾 犻芦天罡犔 犝犜 犻 犪 狀 犵 犪 狀 犵岳焕芳犢 犝 犈 犎 狌 犪 狀 犳 犪 狀 犵（山西农业大学，山西 太谷 ；北京市农林科学院智能装备技术研究中心，北京 ；山东省聊城市水利事业发展和保障中心，山东 聊城 ；北京市数字农业农村促进中心，北京 ；北京市农业技术推广站，北京 ）（犛 犺 犪 狀 狓 犻犃 犵 狉 犻 犮 狌 犾 狋 狌 狉 犪 犾犝 狀 犻 狏 犲 狉 狊 犻 狋 狔，犜 犪 犻 犵 狌，犛 犺 犪 狀 狓 犻 ，犆 犺 犻 狀 犪；犐 狀 狋 犲 犾 犾 犻 犵 犲 狀 狋犈 狇 狌 犻 狆 犿 犲 狀 狋犜 犲 犮 犺 狀 狅 犾 狅 犵 狔犚 犲 狊 犲 犪 狉 犮 犺犆 犲 狀 狋 犲 狉，犅 犲 犻 犼 犻 狀 犵犃 犮 犪 犱 犲 犿 狔狅 犳犃 犵 狉 犻 犮 狌 犾 狋 狌 狉 犲犪 狀 犱犉 狅 狉 犲 狊 狋 狉 狔犛 犮 犻 犲 狀 犮 犲 狊，犅 犲 犻 犼 犻 狀 犵 ，犆 犺 犻 狀 犪；犔 犻 犪 狅 犮 犺 犲 狀 犵犠 犪 狋 犲 狉犆 狅 狀 狊 犲 狉 狏 犪 狀 犮 狔犇 犲 狏 犲 犾 狅 狆 犿 犲 狀 狋犪 狀 犱犌 狌 犪 狉 犪 狀 狋 犲 犲犆 犲 狀 狋 犲 狉，犔 犻 犪 狅 犮 犺 犲 狀 犵，犛 犺 犪 狀 犱 狅 狀 犵 ，犆 犺 犻 狀 犪；犅 犲 犻 犼 犻 狀 犵犇 犻 犵 犻 狋 犪 犾犃 犵 狉 犻 犮 狌 犾 狋 狌 狉 犲犘 狉 狅 犿 狅 狋 犻 狅 狀犆 犲 狀 狋 犲 狉，犅 犲 犻 犼 犻 狀 犵 ，犆 犺 犻 狀 犪；犅 犲 犻 犼 犻 狀 犵犃 犵 狉 犻 犮 狌 犾 狋 狌 狉 犲犜 犲 犮 犺 狀 狅 犾 狅 犵 狔犈 狓 狋 犲 狀 狊 犻 狅 狀犛 狋 犪 狋 犻 狅 狀，犅 犲 犻 犼 犻 狀 犵 ，犆 犺 犻 狀 犪）摘要：目的：解决番茄表面缺陷颜色复杂多变、纹理变化不规则导致的缺陷提取不准确的问题。方法：提出一种考虑亮度矫正下基于图像局部方差的番茄表面缺陷分割方法。在采用直方图阈值分割方法分割花萼与茎疤以及领域像素加权和替代原像素的方法完成亮度矫正的基础上，将番茄表面灰度图像划分成若干图像块，使用图像像素方差对各图像块的颜色进行表征，将缺陷区域与健康区域区分开。使用 模型对番茄表面缺陷区域面积占原图中番茄面积的比例进行检测。结果：考虑亮度校正后对番茄缺陷区域提取准确率提高了 个百分点，在此基础上，与全局阈值、动态阈值、区域生长算法相比，基于图像局部方差的缺陷提取方法能够实现番茄表面缺陷的准确定位与完整提取，以缺陷面积比为输入的高斯 模型对番茄表面缺陷检测的精度达。结论：考虑亮度矫正下，基于图像局部方差的 缺陷提取方法适用于番茄表面缺陷检测。关键词：机器视觉；缺陷检测；花萼；茎疤；亮度矫正；图像局部方差犃 犫 狊 狋 狉 犪 犮 狋：犗 犫 犼 犲 犮 狋 犻 狏 犲：，犕 犲 狋 犺 狅 犱 狊：，犚 犲 狊 狌 犾 狋 狊：，犆 狅 狀 犮 犾 狌 狊 犻 狅 狀：，犓 犲 狔 狑 狅 狉 犱 狊：；第 卷第期 总第 期 年月表面缺陷是决定番茄品质分级的重要因素，准确检测出番茄表面的缺陷区域，对于保障番茄品质分级工作具有重要的意义。对番茄的表面损伤检测中国仍然以人工检测为主，不仅检测效率低而且会对番茄果实造成二次损伤，此外，由于人的主观差异带来的分级不稳定的情况同样值得关注。在此背景基础下，基于机器视觉的无接触检测方法在番茄表面损伤的定位与识别工作中具有广泛的应用前景。采用阈值分割技术提取缺陷的方法在果蔬表面缺陷检测上的应用较为普遍，但分割后的图像存在花萼与茎疤、高亮区域与缺陷区域共存的现象。为了更准确地提取样本表面的损伤区域，在进行缺陷区域分割前进行花萼与茎疤检测和表面亮度矫正等处理是必要的。经过花萼与茎疤检测和亮度矫正后的图像表面缺陷区域与正常区域的颜色和纹理有较明显的差异，可采用图像分割方法对处理后的样本图像进行缺陷分割。使用 分割方法对苹果表面的腐烂区域进行识别，但由于缺陷边缘与其相邻正常区域的对比度较低，导致缺陷提取不完整且缺陷区域存在“毛边”。燕红文使用区域生长算法对番茄的损伤区域进行分割，但需要根据试验结果不断调整种子像素值和相似阈值以获取准确的损伤区域，试验步骤繁琐且耗时较长。此外，基于图像分割的缺陷区域提取方法无法完整提取连续大面积分布的缺陷区域，故部分学者提出使用基于图像局部像素差异的方法来提取果蔬表面的缺陷区域。等 通过遍历图像像素，计算各像素与其，角上相邻像素的差值来判定橄榄的缺陷区域。等 通过使用每个像素周围的局部一阶图像统计选择的局部自适应阈值来对橄榄图像进行二值化，以确定缺陷的位置。遍历图像像素进行缺陷区域判断可以准确定位缺陷区域，但是耗时长。针对此问题，马大国等 将木材图像进行分块，对每一块图像进行多方向多尺度 变换并统计其系数的均值和方差作为特征，实现了木材表面缺陷的准确定位与识别。郭慧等 将刨花板灰度图像划分成若干图像块，使用灰度共生矩阵参数对各图像的纹理进行表征，通过分层聚类算法将不同纹理特征的区域区分开。根据已发表的文献，这种基于图像分块技术的局部特征统计方法目前主要应用于木材表面缺陷的检测。研究拟以番茄为研究对象，采用图像分块技术将番茄图像划分为若干个互不重叠的图像块，计算每个图像块的像素方差用于表征该区域的像素变化，以此来定位番茄表面缺陷的位置，通过计算缺陷面积占番茄图像总面积的比例作为特征，使用 模型进行缺陷检测，以期实现番茄表面缺陷的准确、高效的识别。材料与方法基于机器视觉的果蔬缺陷检测通常基于个步骤来实现，如图所示。试验从图像采集开始，采集的图像经过图像处理操作以便进行分析，果蔬缺陷检测的精度通常取决于缺陷区域的颜色或纹理特征提取结果。图试验流程 图像采集番茄样本采摘于北京市大兴区宏福农业科技有限公司的连栋温室，品种为 ，其果面缺陷的类型包括刺伤、病斑、裂纹和脐腐等。试验所用的番茄图像均由图所示的图像采集装置捕获。选择不同成熟度的健康和缺陷番茄的图像共 张作为训练集进行缺陷检测训练，另准备健康和缺陷番茄图像各 张用于验证。图像处理番茄图像的背景、花萼与茎疤以及表面高亮区域都可能影响缺陷区域提取结果，因此在进行缺陷检测前，剔除这些干扰因素是必要的。通过颜色空间转换来增强番茄果实颜色强度，而后根据番茄果体与其他干扰区域的像素差异，采用阈值分割方法提取干扰区域进行相应的背景框架光源相机支架相机与镜头番茄样本计算机图图像采集装置 ，何婷婷等：基于图像局部方差的亮度矫正下番茄表面缺陷检测方法剔除或矫正操作。背景去除在试验设置的图像采集条件下，番茄目标与背景能够明显区分，使用简单阈值分割方法就可以将番茄目标与背景分离。为了突出番茄轮廓并降低背景像素，将 图像转换至与设备无关的 和 颜色空间下进行显示，使用图像进行 分割，实现番茄目标提取。花萼与茎疤检测由于番茄的花萼和茎疤与缺陷的颜色和纹理相似，因此在进行缺陷区域检测和提取时，有必要将花萼和茎疤与检测区域分离，以检测真实的缺陷。为了准确检测并剔除花萼和茎疤，采用 法来增加番茄红色果体与花萼和茎疤的对比度，分割阈值由式（）计算。犜（），（）式中：犜 分割阈值，像素；图像中重复次数最多的像素值；图像像素均值。高亮区域矫正在基于颜色和纹理的水果表面缺陷检测研究中，水果表面的高亮区域同样会造成健康或缺陷区域的误识别，因此有必要对番茄表面的高亮区域进行亮度矫正。亮度矫正的前提是实现高亮区域的准确定位和提取，对番茄图像的分量图进行简单阈值分割以获取其表面的高亮区域，分割阈值为分量的图像直方图的中值。完成高亮区域提取后，采用 提出的图像快速修复方法来矫正番茄图像中高亮区域的亮度，该方法通过将高亮区域邻近的像素邻域中所有已知像素的归一化加权和代替原区域像素的方法来矫正高亮区域亮度。在选择权重时，对于靠近待矫正点的像素、靠近边界的法线和位于边界轮廓上的像素，给予更多的权重。图像处理的流程和每个步骤的处理结果如图所示。可以看出，所用的图像处理方法在背景去除、花萼与茎疤检测和高亮区域亮度矫正个处理阶段均取得较好的效果。而后，将处理后的番茄图像划分成若干子区块，计算每个子区快的像素方差与设定阈值进行比较，大于阈值的区域像素被设置为，否则设为，遍历所有子区块，得到所有包含缺陷区域的图像块。缺陷区域提取研究提出一种基于图像局部方差的缺陷区域分割方法来定位番茄表面的缺陷区域。该方法将图形划分为互图图像处理具体流程与结果 贮运与保鲜 总第 期 年月不重叠的固定大小的矩形块，通过统计分析所有矩形块内的像素方差和纹理变化，进而确定缺陷的具体位置。为了方便选择子区域块的大小以及统计缺陷区域面积等特 征，在 划 分 子 区 块 前，将 图 像 大 小 统 一 设 置 为 ，并将番茄图像划分成若干子区块，计算每个子区块的方差作为分类特征，大于指定阈值的子区块被提取出来，否则舍弃，具体步骤：（）将番茄图像划分为犿狀个区块，其大小根据缺陷区域 大 小 进 行 选 择，按 式（）计 算 每 个 矩 形 块 的 方差。犻（犻）犘犻，（）式中：矩形块的方差；犻 子区块内每个像素点的灰度值；子区块的平均灰度值，?犻 犘犻；犘犻 像素 值犻在 子 区 块 内 出 现 的 概 率，犘犻犖犻犖；犖犻 子区块内犻的像素个数；犖 子区块的像素总数。（）建立空白图像（，），并将其划分成犿狀个矩形块与番茄图像的子区块位置一一对应，将方差大于设定阈值?的子区块内的像素指定为，否则，指定像素为。（）遍历所有子区块，将图像作为缺陷区域分割的掩膜图像与原始图像进行按位与处理，就可以提取出番茄表面的缺陷区域。分割阈值?的确定方法为，寻找番茄轮廓的最大内接圆，确定其圆心和半径犚，将犚分成犕份，从圆心开始以犓犚犕（犽犕）的半径向外画圆，分别计算各圆环区域的图像方差，以犕个方差的平均值作为最终的缺陷分割阈值。缺陷识别模型与评价指标采用支持向量机（，）对番茄表面缺陷进行检测，本质上是一个二分类器，包括线性、多项式、和高斯个常见核函数，能够处理多种分类问题，且适用于小样本的分类 。试验以每张番茄图像提取的表面缺陷区域面积占番茄图像总面积的比例为 模型的输入来检测番茄是否存在表面缺陷，将番茄分为健康番茄与缺陷番茄两类，使用 个健康番茄和 个缺陷番茄来验证所提方法的适用性。试验工作平台试验工作平台包括硬件与软件平台两个部分，硬件配置 为 英 特 尔 酷 睿 处 理 器，内 存 为 ，显卡。软件开发平台为 位操作系统下，整个试验基于 开源软件库实现，编程语言为 ，特征数据使用 进行处理与分析。结果与讨论缺陷区域提取可视化分析采用图像局部像素方差法分别对亮度矫正前后的番茄图像进行缺陷区域提取，结果如图所示。从图可以看出，由于高亮区域与番茄缺陷在颜色上具有较强的相似性，因此在未进行高亮区域亮度矫正时，表面存在小面积高亮区域的番茄图像能够提取出比较完整的缺陷区域，而表面分布有大面积高亮区域的番茄图像存在部分高亮区域被误分割为缺陷的情况。经过高亮区域亮度矫正后，番茄表面的缺陷区域被完整地分割出来，且结果图中的非缺陷区域非常少，可忽略不计。将基于亮度矫正的缺陷区域提取算法应用于 幅缺陷番茄图像进行验证（图），该算法在未进行矫正的番茄图像集上准确率和均方根误差（）分别为 和 ，精度较低；而在经过亮度矫正的图像上分别获得了 的准确率和 的 ，相对于亮度矫正前，准确率提高了 个百分点，降低了 。为了验证所提方法对番茄表面缺陷提取的准确度，将所提方法的缺陷提取结果分别与全局阈值分割、动态阈值分割和区域生长算法进行比较（图）。可以看出，全局阈值分割方法对番茄表面的缺陷区域的分割效果最差，由于缺陷区域和正常区域的对比度明显小于番茄果体和黑色背景，故该方法无法将对比度较小的缺陷和正图番茄表面缺陷区域提取结果 ，何婷婷等：基于图像局部方差的亮度矫正下番茄表面缺陷检测方法常区域区分开。基于动态阈值的分割方法能够基本确定番茄表面的缺陷位置，但无法提取与健康区域颜色接近的缺陷，并且会忽略番茄轮廓边缘位置处与健康颜色差异明显的缺陷。相对而言，基于区域生长算法的分割方法能够更准确地分割缺陷区域，然而对于颜色和纹理较浅的缺陷区域，该方法仍不能准确检测并完整地分割出来。从图可以看出，相比传统的图像分割算法，基于图像局部方差的缺陷区分割方法不仅能够准确检测出颜色、纹理与正常区域相似的小面积缺陷，并且可以完整地提取番茄表面存在连续分布的多区域缺陷。缺陷识别精度分析使用 模型对番茄表面缺陷检测的结果如表所示。可以看出，个 对番茄表面缺陷检测的平均准确率按照线性 多项式 高斯 的 顺 序依 次 增 加，分别 为，。个 模型对健康番茄的识别准确率均大于缺陷番茄，健 康 番 茄 的 检 测 精度 比 缺 陷 番 茄 的 提 高 了 个百分点，这是因为验证集中部分缺陷番茄的缺陷分布较分散且缺陷面积很小，导致提取的缺陷面积占比非常小，而被误分类为健康番茄。结果表明，基于图像局部像素的缺陷区域提取方法在番茄表面的缺陷分割试验中取得了满意的结果，使用缺陷比作为特征输入的高斯 模型能够准确地识别健康和缺陷番茄。结论针对基于颜色的阈值分割方法难以提取与果体颜色差异不明显和连续分布有大面积缺陷的问题，提出一种考虑亮度矫正下基于图像局部方差的番茄表面缺陷检测方法。采用阈值分割和图像快速修复方法对番茄图像进图不同分割方法对番茄缺陷区域的分割结果 贮运与保鲜 总第 期 年月表缺陷检测结果 类别模型线性 正确识别样本量准确率多项式 正确识别样本量准确率 正确识别样本量准确率高斯 正确识别样本量准确率健康 缺陷 平均准确率 行图像处理，以去除可能会对缺陷检测造成干扰的背景、花萼与茎疤以及高亮区域等因素。经过亮度矫正，缺陷区域的提取准确率比亮度矫正前提高了 。以缺陷区域面积占比为输入的高斯 模型在缺陷检测方面的性能最优，其平均检测准确率为，对 健 康 和 缺 陷 番 茄 的 检 测 准 确 率 均 超 过。结果表明，该方法可以用于番茄产后检测过程中对表面缺陷的识别。参考文献?周海英?化春键?方程骏?基于机器视觉的梨表面缺陷检测方法研究?计算机与数字工程?（?）?（?）?刘军?郭俊先?帕提古丽司拉木?等?基于机器视觉与支持向量机的核桃外部缺陷判别分析方法?食品科学?（?）?（?）?夏篧?胡步发?张善福?一种基于树莓派平台的脐橙品质分级方法?机械制造与自动化?（?）?（?）?张明?王腾?李鹏?等?基于区域亮度自适应校正算法的脐橙表面缺陷检测?中国农业科学?（?）?（?）?（?）?（?）?燕红文?基于机器视觉的番茄损伤区域自动检测?无线互联科技?（?）?（?）?（?）?马大国?马岩?基于?特征的木材表面缺陷的分块检测?东北林业大学学报?（?）?（?）?郭慧?王霄?刘传泽?等?基于灰度共生矩阵和分层聚类的刨花板表面 图 像 缺 陷 提 取 方 法?林 业 科 学?（?）?（?）?（?）?刘传泽?罗瑞?陈龙现?等?基于区域筛选分割和随机森林的人造板表面缺陷识别?制造业自动化?（?）?（?）?（下转第 页），何婷婷等：基于图像局部方差的亮度矫正下番茄表面缺陷检测方法?（?）?伍蓉?黄小兰?何旭峰?等?地参发酵酒的挥发性成分分析和体外抗氧化活性研究?食品工业?（?）?（?）?孙晓明?辛嘉英?王艳?等?微生物发酵产阿魏酸酯酶及释放阿魏酸研究概述?食品研究与开发?（?）?（?）?陈如扬?樊子依?潘一玲?等?冠突散囊菌对植物酚类物质的生物转化及生物活性的影响?食品研究与开发?（?）?（?）?曾亚桐?张怡?朱秋菊?等?枯草芽孢杆菌与产朊假丝酵母发酵豆粕的酶活力测定?天津科技?（?）?（?）?郑自强?卫春会?邓杰?等?一株产纤维素酶枯草芽孢杆菌的麸曲制作及其产酶特性研究?食品与机械?（?）?（?）?金爽?白雪?任裕斌?等?固载微生物菌群发酵槐角对染料木素含量及抗氧化活性的影响?山西医科大学学报?（?）?（?）?冯海燕?枯草芽袍杆菌?改善米糠的功能活性成分并提高其营养价值的研究?南京?南京农业大学?（?）?刘燕?双菌发酵燕麦改善多酚抗氧化活性及其体外消化特性?广州?华南理工大学?（上接第 页）?武春龙?朱天明?张鹏?等?基于功能模型和层次分析法的智能产品服务系统概念方案构建?中国机械工程?（?）?（?）?王俊平?徐刚?机器视觉和电子鼻融合的番茄成熟度检测方法?食品与机械?（?）?（?）?（上接第 页）?熊俊涛?梁翠晓?林忠凯?等?基于支持向量机的柑橘表征缺陷荧光检测?粤港澳大湾区智能检测与协同创新青年论坛论文集?广州?中国仪器仪表学会?赵玉清?杨慧丽?张悦?等?基于特征组合与?的小粒种咖啡缺陷生豆检测?农业工程学报?（?）?（?）?，夏欣欣等：混菌固态发酵米糠产谷维素的工艺及抗氧化活性评估