基于机器视觉的水果分级系统.pdf

基金项目：山 东 省 自 然 科 学 基 金 资 助 项 目（编 号：）；山 东 省 重 点 研 发 计 划 项 目（编 号：）作者简介：刘佳浩，男，青岛大学在读硕士研究生。通信作者：高军伟（），男，青岛大学教授，博士。：收稿日期：改回日期：犇 犗 犐：犼 狊 狆 犼 狓 文章编号 （）基于机器视觉的水果分级系统 刘佳浩，犔 犐 犝犑 犻 犪 犺 犪 狅，高军伟，犌 犃 犗犑 狌 狀 狑 犲 犻，张炳星，犣犎犃犖犌犅 犻 狀 犵 狓 犻 狀 犵，王建冲，犠犃犖犌犑 犻 犪 狀 犮 犺 狅 狀 犵，（青岛大学自动化学院，山东 青岛 ；山东省工业控制技术重点实验室，山东 青岛 ）（犆 狅 犾 犾 犲 犵 犲狅 犳犃 狌 狋 狅 犿 犪 狋 犻 狅 狀，犙 犻 狀 犵 犱 犪 狅犝 狀 犻 狏 犲 狉 狊 犻 狋 狔，犙 犻 狀 犵 犱 犪 狅，犛 犺 犪 狀 犱 狅 狀 犵 ，犆 犺 犻 狀 犪；犛 犺 犪 狀 犱 狅 狀 犵犘 狉 狅 狏 犻 狀 犮 犻 犪 犾犓 犲 狔犔 犪 犫 狅 狉 犪 狋 狅 狉 狔狅 犳犐 狀 犱 狌 狊 狋 狉 犻 犪 犾犆 狅 狀 狋 狉 狅 犾犜 犲 犮 犺 狀 狅 犾 狅 犵 狔，犙 犻 狀 犵 犱 犪 狅，犛 犺 犪 狀 犱 狅 狀 犵 ，犆 犺 犻 狀 犪）摘要：目的：解决目前水果分级检测方法效率低、误检率高等问题。方法：以苹果为分拣对象，设计一个基于机器视觉的水果分级系统。对实时采集得到的苹果图像进行预处理，使用改进的 边缘检测算法进行边缘提取，通过最小外接圆法拟合边缘坐标得到苹果的横切面半径。将采集到的 图像转换为 图像，根据分量范围计算红色区域比例，判断苹果的色泽度。统计区域像素点个数，分别求取苹果的面积和周长，计算出苹果的圆形度。结合苹果果径长度、色泽度和圆形度个特征值对苹果进行综合分级。结果：个苹果样本试验结果表明，水果分级系统和人工分拣测量的果径误差范围在以内，样本颜色特征与苹果实际外观相符，圆度值的大小与实际形状优劣相符。结论：该系统满足实际生产中对于苹果分级的需求，有助于实现苹果品级的准确识别。关键词：机器视觉；水果分级；边缘检测；最小外接圆法；颜色模型犃 犫 狊 狋 狉 犪 犮 狋：犗 犫 犼 犲 犮 狋 犻 狏 犲：，犕 犲 狋 犺 狅 犱 狊：，犚 犲 狊 狌 犾 狋 狊：，犆 狅 狀 犮 犾 狌 狊 犻 狅 狀：犓 犲 狔 狑 狅 狉 犱 狊：；目前，传统的水果分级方法包括人工分级和机械分级，人工分级存在成本高、效率低等缺点，而机械分级易损伤水果表皮，分级精度受限制。随着机器视觉技术的迅速发展，国内外专家开展了大量研究，并且将其应用于水果的分级处理过程中，通过检测提取水果的大小、颜色、形状、缺陷等特征进行检测分级，取得了一定的进展。然而，基于单指标特征的水果分级具有不确定性，误判率较高，结果难免存在偏差。因此，一些学者将多个特征数据进行融合再完成分级，如李先锋等提出一种苹果综合分级的方法，在 证据理论的前提下，将苹果的大小、颜色、形状、缺陷等单特征融入到最终的分级结果中，准确率高达；杨小青等在 颜色模型下的分量灰度图中分割出苹果的着色区域，采用像素点变换法计算出着色部分的面积，实现苹果的颜色分级；于蒙等对苹果的分量灰度图采用 阈值分割提取水果轮廓，并分别提取苹果的颜色以及缺陷特征，通过支持向量 第 卷第期 总第 期 年月机对苹果进行分级，准确率为；等通过计算机视觉技术实现金冠苹果的分级，使用多层感知器，最近邻和支持向量机进行分级。研究拟通过提取苹果表面着色 区 域 面 积，计 算 出 苹 果 色 泽 度，并 结 合 改 进 的 边缘检测算法对苹果进行边缘提取，求取苹果的半径、面积和周长，从而计算出苹果的最小外接圆半径和圆形度，结合苹果色泽度、半径、圆形度个数据特征，实现水果的分级。系统总体结构系统硬件设计利用 工业相机、机、传送带、环形光源、遮光板，搭建如图所示的水果分级平台。工业相机用来采集水果的实时图像；机接收 工业相机传输的图片，调用 相关算法对其进行处理分析；传送带将需要分级的水果运送到待检测区域；环形光源提供 相机拍照时所需要的亮度；遮光板为图像提供黑室环境，防止杂散光形成的光斑对试验结果产生影响。图系统硬件结构图 系统软件设计软件是分级系统的核心部分。在水果分级过程中，工业相机将采集得到的图像传入计算机后，计算机将数据输入到图像分析系统中，在经过图像预处理，图像分割，苹果特征参数提取后，可根据得到的特征数据对水果进行分级。系统软件设计流程图如图所示。图系统软件框架图 图像处理图像预处理颜色模型转换在图像处理领域中，颜色模型可以完全反映人感知颜色的基本属性，并且可以更直观地提取目标颜色。使用 工业相机拍摄得到的照片是 颜色模型下的图像，模型是基于笛卡尔直角坐标系的，而 模型是基于圆柱极坐标的，因此，将 颜色模型转换为 颜色模型，在模型转换时，需要将 中的亮度因素分离，将色度分解为色调和饱和度，其中色调分量、饱和度分量、亮度分量的表达式如式（）式（）所示。犎 （犚犌）（犚犅）（犚犌）（犚犅）（犌犅槡）烅烄烆烍烌烎，（犌犅）（犚犌）（犚犅）（犚犌）（犚犅）（犌犅槡）烅烄烆烍烌烎，（犌犅）烅烄烆，（）犛 （犚，犌，犅）犚犌犅，（）犐（犚犌犅），（）式中：犎、犛、犐 转换后图像中色调分量、饱和度分量、亮度分量的值；犚、犌、犅 原图中红、绿、蓝的值；图和图分别为苹果 颜色模型下和 颜色模型下的图片。图像灰度化 工业相机拍摄得到的图片为 彩色图片，在后续处理过程中计算量过大，因此需要转化为灰度图像。采用加权平均值法对得到的彩色图片进行灰度处理，如图所示。双边滤波图像采集和传输过程中会受到一定的脉冲噪声干扰，如果在图像处理之前没有将噪声消除掉，会对后续的特征提取产生很大的影响。因此，对图片进图 模型下的苹果图 ，刘佳浩等：基于机器视觉的水果分级系统图 模型下的苹果图 图苹果灰度图像 行平滑处理是一个非常必要的过程。采用双边滤波对图像进行去噪，双边滤波是一种常用的非线性滤波方法，它同时考虑了图像的空域信息和灰度相似性，可以有效地保护目标边缘的信息，从而提高对苹果特征值提取的精度。双边滤波后的苹果图像见图。图像分割最大熵阈值分割图片经过平滑处理后，需要将待检测的苹果和背景图分割开，如果在分割过程中造成苹果图像的边缘缺失，或者是背景区域被误认为样本分割出来，都会对后续的苹果特征提取产生影响，因此图像分割是水果分级过程中至关重要的一步。文中采用的是最大熵阈值分割法。最大熵分割法是计算所有分割阈值下的图像总熵，找到最大的熵，将最大熵对应的分割阈值作为最终的阈值，图像中灰度大于此阈值的像素作为前景，小于等于此阈值的像素作为背景。最大熵计算过程：图苹果双边滤波图像 给定一个特定的阈值犿（犿犓），对于该阈值所分割的两个图像区域犆，犆，其估算的概率密度函数可表示为：犆：（狆（）犘（犿），狆（）犘（犿），狆（）犘（犿），狆（犿）犘（犿），），（）犆：（，狆（犿）犘（犿），狆（犿）犘（犿），狆（犓）犘（犿），（）犘（犿）犿犻狆（犻）犘（犿），（）犘（犿）犓 犻犿 狆（犻）犘（犿），（）式中：犿 给定阈值；犓 分割阈值的数量；狆（犻）灰度值处概率；犘（犿）犿阈值下背景像素区域的累积概率；犘（犿）犿阈值下前景像素区域的累积概率。犎（犿）犿犻狆（犻）犘（犿）狆（犻）犘（犿），（）犎（犿）犓 犻犿 狆（犻）犘（犿）狆（犻）犘（犿），（）式中：犎（犿）、犎（犿）背景和前景所对应的熵。在该阈值下，图像的总熵为：犎（犿）犎（犿）犎（犿）。（）形态学处理从图可以看出，阈值分割后得到的图像的边缘轮廓并不够平滑，并且存在部分噪音和空洞干扰。这些干扰会对后续苹果的特征提取产生影响，因此需要采用形态学操作去除噪声，平滑二值图像边缘。膨胀和腐蚀是两种基本的形态学操作，主要对孤立的图像单元以及阈值分割后图像中的白色块状部分等进行处理。腐蚀操作可以收缩目标区域的边界，能够有效消除图像中的像素值为的小范围目标。膨胀操作可以扩大图苹果最大熵阈值分割图像 食品装备与智能制造 总第 期 年月目标区域的边界，对于二值图像中的孔洞有很好的处理效果。图和图分别为腐蚀和膨胀效果下图像。图苹果形态学腐蚀图像 图苹果形态学膨胀图像 改进的 边缘检测在完成图像的预处理之后，需要对苹果的边缘轮廓进行提取，便于后续苹果果径的计算，边缘检测的效果决定苹果分级的精度。在边缘检测过程中，需要满足以高的正确率检测边缘、检测的边缘需要精准地定位在真实边缘的中心位置、图像中边缘点像素只能标注一次且边缘噪声不产生假边缘个标准。边缘检测算法是目前使用最广泛也是检测效果最好的边缘检测算法之一，但传统的 边缘检测算法可能存在边缘信息缺失，或者细节上存在不完整的缺点，所以 此 处使 用 一 种 改 进 的 边 缘 检 测 算法。改进后的算法主要有个步骤：使用双边滤波进行卷积平滑图像；计算图像中每一个像素点的梯度方向和强度；应用非极大值抑制实现消除带来的杂散响应；用最大类间方差法确定边缘阈值。在改进的 算法中，使用双边滤波进行卷积平滑图像，可以降低噪声，增加图像边缘细节，利用最大类间方差法得到的阈值代替了人为设置的阈值，增加了算法的自适应性。与传统的 边缘检测算法相比，改进的 边缘检测算法在抗噪声干扰精准定位的功能上有更好的效果，能够很轻易地检测出图像中较细的边缘，得到的苹果轮廓图像更加清晰，可以大幅提高后续对于苹果半径和周长的计算精度。利用改进的 边缘检测算法提取到的苹果边缘轮廓如图 所示。图 苹果边缘检测结果 苹果特征参数提取苹果果径计算苹果果径的大小是苹果品质分级的一个重要标准。根据鲜苹果分级标准可知，苹果果径近似于苹果的最大横截面直径，且苹果本身接近圆形，故采用最小外接圆法对苹果果径进行计算。在经过边缘检测之后，可根据提取到的边缘求得苹果质心，距离质心最远的边缘点为苹果的最小外接圆的半径，由此便可得到苹果图像的最小外接圆。将系统测量的最小外接圆半径和游标卡尺测量的苹果真实半径进行比例换算，得到具体标定公式之后，便可将像素意义下的大小转换为真实尺寸。具体实现原理：经过边缘检测之后的苹果图像的质心可以近似表示为最小外接圆的圆心，苹果的质心采用边缘像素坐标的一阶矩表示，表示公式：狓狀狀犻狓犻狔狀狀犻狔犻烅烄烆，（）式中：狀 边界上总的像素个数；狓犻、狔犻 图像边缘像素点的横坐标和纵坐标；（狓，狔）图像的质心坐标。得到苹果图像的质心坐标（狓，狔）和边缘位置坐标（狓犻，狔犻）之后，可按式（）（最小距离公式）计算出质心到各边缘点的距离。其中犻，犿（犿是提取的边缘点个数）。犱犻（狓犻狓）（狔犻狔槡），（）式中：犱 外接圆半径，像素。其中，根据式（）便可得到苹果所有边缘点和质点 ，刘佳浩等：基于机器视觉的水果分级系统之间的距离，将得到的所有距离进行对比，距离最长的作为最小外接圆的半径，如式（）所示。犇 （犱，犱，犱，犱犻），（）式中：犇 最小外接圆半径，像素。在求取最小外接圆半径之后，便可在提取到的边缘图像的基础上画出该最小外接圆，如图 所示。图 苹果的最小外接圆图像 通过分别测量 个苹果样本的实际尺寸（长度单位）和 最 小 外 接 圆 半 径（像 素 尺 寸）数 据 后，使 用 软件进行拟合，可得到苹果半径的实际尺寸和最小外接 圆 半 径 之 间 的 关 系。拟 合 公 式 如 式（）所示。犓犚犇，（）式中：犓 标定系数，或像素；犚 苹果半径的实际尺寸，。根据得到的 组犓值求其平均值即得到标定系数犓 ，即一个像素代表的实际物理尺寸为 。苹果色泽度计算在水果的外观上，颜色对于任何水果都是首要考虑的指标之一，消费者通常会根据颜色来判断水果的成熟程度、酸甜度、口感等等，水果的颜色与其内部品质也存在一定的关联，好的颜色外观也意味着水果拥有更高的经济价值。因此，水果的色泽度也是水果等级划分的重要判据之一。在完成由 颜色模型向 颜色模型的转换之后，需要将 颜色模型中的分量分离出来，分离后分量的直方图如图 所示。通过分析大量苹果图像可得，红色苹果的色度基本分布在 和 ，且苹果的颜色越发红，其分量直方图的峰值就越靠近坐标纵轴。由谢忠红等 的研究结果可知，成熟苹果的 中色调分量的红色值在 以及 ，因此，选取 图 分量直方图 和 的色度近似为苹果的红色部分。由式（）便可计算出红色在苹果上的着色率：犺犎（狓，狔）犎（狓，狔），（）式中：犺 红色区域着色率；犎（狓，狔）坐标轴中像素坐标。通过检索分量中每个位置的像素值，找到符合要求的元素的总个数，除以苹果所占区域中所有像素的个数，便可得出苹果的着色率。图 为样本图像中着色区域的分割效果图。图 苹果红色区域的分割效果图像 圆形度计算水果的形状也是衡量苹果价值的重要指标之一。消费者对外观形状规则、接近圆形的苹果更有好感度，圆形度法便是水果形状的评价标准之一。标准圆的周长和面积对应的半径是相同的，圆形状越是规则，两个半径相差就越小，因此，可以利用同一区域的面积 和 周 长 各 自对 应 半 径 的 比 值 来 计 算 圆 形 度，则有狉狊犛槡，（）狉犾犔，（）犈（狉狊狉犾）犛犔，（）食品装备与智能制造 总第 期 年月式中：犛 区域的面积，；犔 区域的周长，；狉狊、狉犾 面积对应半径和周长对应半径，；犈 圆形度。从式（）可以看出，犈越接近，圆形就越规则，当犈时，圆形为标准圆。图 为两幅不同形状的苹果对应的圆形度值。图 不同样本圆度值 试验与分析试验设计为验证水果分级系统的可靠性，随机选取 个红富士苹果分别使用水果分级系统和人工进行测试分级，根据 鲜苹果 标准将苹果分为优等品、一等品、二等品和等外品个等级。在 软件中对苹果进行分级，为了方便用户进行操作，开发了可视化 界面，可以方便查看图像处理的过程和苹果的特征参数。界面如图 所示。试验分析表为随机选取的 个样本测试数据。试验结果显示，个样本测试数据中，系统测量果径与人工测量果径最大误差为，最小误差为，果径绝对误差均在以内，样本颜色特征与苹果实际外观相符，圆度值的大小与实际形状优劣相符，符合苹果分级标准。图 可视化界面 表苹果样本分级试验数据 样本编号系统测量果径人工测量果径误差色泽度圆形度品级结果是否一致 优等品是 一等品是 一等品是 二等品是 优等品是 一等品是 一等品是 一等品是 一等品是 一等品是 ，刘佳浩等：基于机器视觉的水果分级系统结论研究设计了基于机器视觉的水果分级系统，以苹果为测试样本，经过图片预处理，采用改进的 边缘检测算法对苹果轮廓进行提取，结合最小外接圆法实现样本果径长度和圆形度的计算。转换样本图片的颜色模型，根据 颜色模型下分量的范围，完成对样本色泽度的计算。通过改进 边缘检测算法，提高了果径和圆形度计算的精度，将半径、色泽度和圆形度个特征值综合进行分级，从而改善了分级的效果。由试验数据可知，该系统可以精确地实现苹果的分级，果径长度绝对误差在以内，样本颜色特征与苹果实际外观相符，圆度值的大小与实际形状优劣相符，解决了现有方法检测效率低、误检率高等问题。该分级系统可以推广到其他类球型水果产品的分级，应用场景广阔。参考文献?李先锋?朱伟兴?花小朋?等?基于?证据理论的决策级多特征融合苹果分级方法?农业机械学报?（?）?（?）?杨小青?党宏社?基于像素点变换法的苹果颜色分级系统研究?农机化研究?（?）?（?）?于蒙?李雄?杨海潮?基于图像识别的苹果等级分级研究?自动化与仪表?（?）?（?）?（?）?姚敏?牟雪儿?陈鹏?等?图像中印章的检测定位与识别研究?信息技术与信息化?（?）?（?）?（?）?谷学静?刘秋月?马冠征?等?基于双边滤波和词袋模型的图像匹配算法?激光杂志?（?）?（?）?（?）?张伟光?钟靖涛?于建新?等?基于机器学习和图像处理的路面裂缝检测技术研究?中南大学学报（自然科学版）?（?）?（?）?（?）?齐艳丽?汪代俊?图像边缘检测方法性能比较?中国标准化?（?）?（?）?李靖?王慧?闫科?等?改进?算法的图像边缘增强方法?测绘科学技术学报?（?）?（?）?刘新庭?匡迎春?陈熵?等?基于最小外接圆直径的苹果分级研究?中国农学通报?（?）?（?）?施健?何建国?张冬?等?基于计算机视觉鲜枣大小分级系统研究?食品与机械?（?）?（?）?刘忠超?范灵燕?盖晓华?基于机器视觉的苹果重量检测研究?江苏农业科学?（?）?（?）?谢忠红?郭小清?姬长英?基于颜色模型和纹理特征的彩色水果图像分 割 方 法?计 算 机 工 程 与 科 学?（?）?（?）?刘亚东?基于图像处理的苹果外观品质分级研究?北京?中国地质大学（北京）?（?）?食品装备与智能制造 总第 期 年月