基于机器视觉的杏鲍菇外观品质分级系统设计.pdf

基金项目：国家自然科学基金（编号：）作者简介：刘浩，男，福建农林大学在读硕士研究生。通信作者：陈学永（），男，福建农林大学教授，博士。：收稿日期：改回日期：犇 犗 犐：犼 狊 狆 犼 狓 文章编号 （）基于机器视觉的杏鲍菇外观品质分级系统设计 刘浩犔 犐 犝 犎 犪 狅林新华犔 犐 犖 犡 犻 狀 犺 狌 犪朱亚男犣犎犝犢 犪 狀 犪 狀周柱犣犎犗 犝犣 犺 狌王敏犠犃犖犌 犕 犻 狀陈学永犆犎犈犖 犡 狌 犲 狔 狅 狀 犵（福建农林大学，福建 福州 ）（犉 狌 犼 犻 犪 狀犃 犵 狉 犻 犮 狌 犾 狋 狌 狉 犲犪 狀 犱犉 狅 狉 犲 狊 狋 狉 狔犝 狀 犻 狏 犲 狉 狊 犻 狋 狔，犉 狌 狕 犺 狅 狌，犉 狌 犼 犻 犪 狀 ，犆 犺 犻 狀 犪）摘要：目的：将机器视觉技术引入到杏鲍菇的外观检测中。方法：提出一种双边滤波代替高斯滤波作为图像平滑滤波器，最大类间方差法代替固定双阈值分割的改进 型 算 子，并 作 为 边 缘 检 测 算 法。利 用 算子和颜色空间转换，完成杏鲍菇的长度、直径、弯曲度、均匀度、色泽及菇帽缺损特征要素提取。使用 联合在 开发环境下完成视觉软件功能模块开发设计。结果：随机获取 根杏鲍菇，对算法处理准确度和视觉软件工作性能进行检测。杏鲍菇直径分级精度为，其余特征要素可达 以上，装置整体各规格杏鲍菇分级精度达 以上。结论：通过算法的改进和视觉软件的设计可以完成杏鲍菇的外观品质的分级。关键词：杏鲍菇；分级分选；图像处理犃 犫 狊 狋 狉 犪 犮 狋：犗 犫 犼 犲 犮 狋 犻 狏 犲：犘 犾 犲 狌 狉 狅 狋 狌 狊犲 狉 狔 狀 犵 犻 犻犕 犲 狋 犺 狅 犱 狊：，犘犲 狉 狔 狀 犻 犻，犚 犲 狊 狌 犾 狋 狊：犘犲 狉 狔 狀 犵 犻 犻 犘 犾 犲 狌 狉 狅 狋 狌 狊犲 狉 狔 狀 犵 犻 犻 ，犆 狅 狀 犮 犾 狌 狊 犻 狅 狀：犘犲 狉 狔 狀 犵 犻 犻 犓 犲 狔 狑 狅 狉 犱 狊：；杏鲍菇营养丰富，有很高的食用、营养及经济价值，是中国工厂化栽培的经济食用菌品种之一。目前行业内通过人工分级分选杏鲍菇，工作强度大、效率低，且无法达到规模、统一、高效的分选效果。将机器视觉智能分级分选技术应用于杏鲍菇分选行业，可有效解决这些问题。但目前果蔬色泽及表面缺损分级的研究在中国仍处于理论研究阶段，杏鲍菇分选在国外更是一片空白。目前，国内外学者基于机器视觉对物料外观品质检测进行了大量研究，等利用计算机视觉对茶叶图像分析，提取投影面积、圆度、蕨径、长径比、坚实度等物理特征，发现茶叶颗粒质地特征面积、周长、圆度存在明显差异，该系统区分茶叶精度达。等提出一种机器视觉与深度学习结合的玉米种子快速分类方法，采集个品种 粒玉米种子按比例将样本图像分类到训练集及验证集中，对数据增强处理，提出改进网络结构，采用 分类精度最高，模型损失保持在 左右。冯斌等对不同色级水果分析，搭建人工神经网络识别模型，其分级正确率达，可满足分选产线实时分级要求。郭峰等提出一种基于 颜色模型瓜果边缘轮廓提取算法，开发设计瓜果分级试验样机，对温室西 红 柿 分 选，其 分 选 精 度 为，分 选 速 度 为个，可达到实用化目标。王宇杰以苹果为研究对 第 卷第期 总第 期 年月象，对图像完成背景分割后，利用中值滤波对图像平滑降噪处理，通过 算子完成边缘检测，最后人工挑选与机器自动识别自动化分级吻合度达。研究拟将机器视觉引入到杏鲍菇的外观品质检测中，通过 最大类间方差法代替固定双阈值分割的改进型 算子，并通过将杏鲍菇 图像转 图像，对分量及分量进行阈值分割，以期完成对杏鲍菇菇体色泽 及 菇 帽 缺 损 特征 要 素 的分 离 提 取，完 成 缺 陷检测。图像采集及处理算法图像采集系统搭建机器视觉系统一般处理流程包括光源打光照射、光电传感器检测对象、工业相机采集图像、图像传输、图像算法处理及输出通讯指令等。光源选择科麦视觉科技 环形 红色光源，搭配 光源控制器，相机选择深圳迈德威视科技 彩色面阵 相机，镜头选择中联科创 镜头，选择 接口完成图像采集及传输工作。图像采集系统标定标定板由 标定板 算子设置生成，标定板由行列小圆点组成，各相邻小圆点中心距，直径为中心距的倍，标定板一角的小三角标志方便 区 分方 向。算 子 参 数 设 置：犡方 向 的 标 记 点 数（）为，犢方向的标记点数（）为，标记的距离（）为 ，标记直径与标记距离的比值（）为。标定板尺寸如图所示。通过 自带 助手可便捷高效完成面阵相机标定工作，先对标定板尺寸描述文件加载，设置标定相机像元尺寸及镜头焦距。设置完成，选择图像采集助手模式进行采集，采集 张多角度、多位姿图标定板尺寸 标定 板 图 片。标 定 助 手 参 数 设 置：单 个 像 元 的 宽犛 ，单个像元的高犛 ，焦距 ，厚度 。图像采集助手模式如图所示。图图像采集助手模式 图像预处理对一张带一定角度的杏鲍菇图片进行图像平移，图像旋转，图像缩放，仿射变换后，采集的杏鲍菇图像朝向将较为一致，方便后续图像统一算法处理。处理效果，如图所示。图杏鲍菇仿射变换前后 犘犲 狉 狔 狀 犵 犻 犻 图像边缘检测对同一张经中值滤波处理后的图像分别进行以上种边缘检测算子算法处理，对处理后的图像分析比较。种边缘检测算子处理的代码运算时间、峰值信噪比与边缘线完整度的对比数据及效果比较，如表、图所示。通 过以上个衡量指标得出，在运算时间接近的情表边缘检测算子指标对比 边缘检测算法代码运行时间 峰值信噪比边缘线完整 算子 算子 算子 算子 食品装备与智能制造 总第 期 年月图边缘检测算子效果对比 况下，算子边缘检测效果最好，对边缘细节保留更多，综合衡量指标选择 算子作为课题图像边缘检测算子。算子是一种经典算子，已在图像边缘检测得到较为广泛应用，但传统 算子仍存在以下不足：以高斯滤波器完成图像预处理，在清除噪声过程中会过度清除图像边缘信息，造成部分边缘信息丢失而降低边缘检测精度及效果；采用固定双阈值完成阈值分割，在处理边缘分布不同的图像时，不能自适应改变高低阈值，适应性不强。针对以上传统 算子不足，选择双边滤波代替高斯滤波作为图像平滑滤波器，最大类间方差法代替固定双阈值完成阈值分割，针对图像边缘检测提 出 一 种 改 进 型 算 子 。分 别 以 传 统 算子及改进型 算子对同一张经中值滤波处理后的图像完成边缘检测处理，对比评估边缘检测效果的个衡量指标，效果对比如表、图所示。通过对比发现，改进型 算子运算时间稍长，但信噪比更大，边缘线完整度更小，图像边缘细节更突出，表个衡量指标参数对比 边缘检测算法代码运算时间 信噪比边缘线完整度传统 算子 改进型 算子 图边缘检测算子结果对比 整体效果得到较大提升。最后选择改进型 算子完成边缘检测算法处理。图像颜色处理将杏鲍菇 图像转换为、分量，对原图及饱和度分量对比发现，菇体白色部分更暗，菇帽末端及接近菇帽的菇体浅褐色部分较明亮，菇帽深褐色部分最明亮。利用阈值分割完成分量灰度值提取，得出菇体各部分色泽，如图所示。图基于分量各部位颜色提取 通过颜色空间转换，利用阈值分割完成分量菇体色泽特征要素提取，可完成杏鲍菇白色、浅褐色及深褐色部分提取 。对菇帽有缺损的杏鲍菇 区域进行颜色空间转换，得到处理图像效果，如图所示。通过对比发现，菇帽有缺损部分分量及分量与周围区域有较为明显不同，有缺损部分分量更亮，分量更暗。对分量阈值分割提取菇体缺损部分，如图所示。图菇帽缺损、分量 ，图分量缺损提取 ，刘浩等：基于机器视觉的杏鲍菇外观品质分级系统设计针对以上研究处理发现，将杏鲍菇 图像转 图像，对分量及分量进行阈值分割，可完成对杏鲍菇菇体色泽及菇帽缺损特征要素的分离提取。杏鲍菇特征提取提取出杏鲍菇长度、直径、弯曲度、均匀度、菌帽缺损及菇体色泽等特征要素。对杏鲍菇形状特征长度、直径、弯曲度及均匀度特征等要素提取的步骤：二值化，选择杏鲍菇 区域；对选择的区域 分离，完成特征直方图提取准备工作；打开特征直方图，筛选面积、坐标等要素，对杏鲍菇单一对象提取，进行形态学变换，完成杏鲍菇图像预处理；利用 算子对 区域进行最小外接矩形操作，获取 区域面积中心、长、宽及相对水平方向偏移弧度；利用 自带 标定助手对 区域等分，完成长度、直径、弯曲度及均匀特征要素提取。形状特征提取图像效果，如图所示。色 泽 及 缺 损 特 征 提 取，颜 色 特 征 基 于 及 提出的颜色直方图完成特征提取，将 图像拆分成个单通道图像，转换为 颜色空间模型，提取、分量，通过分量模型对菇体色泽及菇帽缺损特征要素分辨。经图像预处理、边缘检测、颜色空间转换及图像特征提取等算法步骤，可得到杏鲍菇个特征要素衡量值，综图形状特征提取 合加权可得杏鲍菇等级信息，整个杏鲍菇算法处理平均时间为 。处理图片及结果如图、表所示，判断该杏鲍菇为中大直长小类。图 杏鲍菇等级判断 犘犲 狉 狔 狀 犵 犻 犻表杏鲍菇特征参数及等级 犘犲 狉 狔 狀 犵 犻 犻长度 直径 弯曲度 均匀度 菇帽缺损 菇体色泽 等级 中大直长分级分选装置软件开发及性能测试视觉软件功能模块开发使用 联合在 平台 控件 完成界面开发及杏鲍菇外观品质分级分选装置视觉软件系统设计开发编程，将图像采集、图像处理及串口通讯集成，实现分选执行机构、硬件控制 及视觉软件的协同工作，完成分选工作。软件系统总体方案视觉软件系统开发指导思想：将一个应用程序分解成若干小模块，模块各自独立，但可通过接口协同完成分级分选工作。整个机器视觉软件系统按照模块化设计，分为图像采集、图像处理、串口通讯、产品配置及数据库管理个模块。系统框架原理如图 所示。总体功能结构杏鲍菇分级分选装置软件系统从用户需求及任务功能出发，将软件拆分为较小模块，保持模块间逻辑结构独立性，功能模块易于实现，便于功能模块的修改及维护更新。整个视觉检测系统总体功能结构图 软件系统框架图 如图 所示。系统功能模块设计杏鲍菇视觉检测系统分图像采集、图像处理、串口通讯、产品配置、数据库管理大功能模块。模块间通过接口交互协同，完成杏鲍菇分级分选目标。（）图像采集模块：在获取图像前，对视觉硬件系统进行调试，完成相机标定，调试相机、镜头、光源、光电传感器触发距离等，使采集的图像效果更好。食品装备与智能制造 总第 期 年月图 杏鲍菇外观品质视觉检测系统软件结构 犘犲 狉 狔 狀 犵 犻 犻（）图像处理模块：对传输来的图像预处理、边缘检测、图像颜色处理及图像特征提取等操作，完成杏鲍菇特征要素提取。封装集成方式不会对操作者产生影响，直接面向实际生产，仅需简单培训即能上岗操作。（）串口通讯模块：杏鲍菇等级信息作为 输入信号，指导 输出相应数据信号，控制分选执行机构完成分选任务。模块包括串口通讯协议、串口信息设置及读写测试等，采用 作为上位机及下位机的通讯协议。串口通讯调试界面如图 所示。（）产品配置模块：产品配置模块针对个特征要素进行参数调节，设置针对性产品配方。有产品属性、分级标准及相机设置等功能，可建立分级标准及设备调试。产品配置模块界面如图 所示。（）数据库管理模块：数据管理模块利用 完成开发设计，包括图像处理日志及图像等级信息的后台保存，以及数据库维护。用户可对数据库数据完成运行、新增、截取、更新及删除等操作，保证数据库符合企业管理要求。（）软件系统主界面设计：视觉检测软件主界面设计包括数据统计窗口、数据库管理窗口、图像处理显示窗口、软件初始化按钮、工作启停按钮、产品切换按钮、产品配置按钮、处理日志、右下角的相机、通讯状态栏及时间状态。软件主界面如图 所示。图 串口通讯调试界面 图 产品模块设计界面 图 视觉检测系统软件主界面 工作性能在线测试软件工作性能测试软件工作性能测试是为了测试算法处理准确度，了解所开发的视觉软件工作性能。测试方案：在杏鲍菇分选车间随机获取 根杏鲍菇，并在其表面贴上批次编号标签，方便记录统计，使用开发的视觉软件系统对每根菇进行图像算法处理，完成在线测试，获取每根杏鲍菇大特征要素的分级标准值。同时与使用测绘工具测量及人工评价得到的数据形成对照组，对软件算法处理精度及工作性能进行评价。杏鲍菇外观品质的在线测试准确率如表所示。，刘浩等：基于机器视觉的杏鲍菇外观品质分级系统设计表杏鲍菇特征在线测试准确率 犘犲 狉 狔 狀 犵 犻 犻 特征要素样本数量相符数量软件准确率长度 直径 弯曲度 均匀度 菇帽缺损 菇体色泽 通过杏鲍菇外观品质软件工作性能在线测试发现，杏鲍菇直径分级精度为，与其相关性较高的弯曲度及均匀度精度也较低，其余特征要素分级精度较高，达到 以上。杏鲍菇直径精度较低的原因是对直径特征进行提取时以其最小外接矩形宽作为直径值，但部分菇体会出现中间瘦小，两端粗大的情况，造成直径精度不准确，其分级算法需进一步优化提升。装置工作性能测试杏鲍菇外观品质分级分选装置工作性能测试通过装置分选各规格杏鲍菇，与人工分选的数量形成对照组，测试装置分级精度及工作性能。具体方案：在杏鲍菇分选车间，三级输送线速度分别为，的情况下，对样本容量为 的各规格杏鲍菇进行分选测试，统计出装置认定正确等级杏鲍菇数量占不同规格杏鲍菇的百分比。装置各规格等级杏鲍菇分选准确率如表所示。通过杏鲍菇外观品质分级分选装置工作性能测试验证发现，装置整体杏鲍菇规格分级精度达 以上，但小粒和小菇因个头太小，形状多样，分级误差较大，分级精度为 左右；而中小菇以上等级，因杏鲍菇发育较好，长势匀称，分级精度较高，达到 左右，特别是大菇及特菇分级精度可达 以上。基于机器视觉的杏鲍菇外观品质分级分选装置对外观形状较大的杏鲍菇分级精度较高，分选精度可达 以上，而对于外观尺寸较小的杏鲍菇分选精度也能达到 以上，可较出色地完成杏鲍菇分选工作。表各规格等级杏鲍菇分选准确率 犘犲 狉 狔 狀 犵 犻 犻 规格样本数量相符数量分级准确率小粒 小菇 中小 中大 大菇 特菇 结论研究完成了对杏鲍菇图像采集系统关键部件选择及相机标定，并对图像处理算法研究分析，提出一种双边滤波代替高斯滤波作为图像平滑滤波器，最大类间方差法代替固定双阈值进行阈值分割的改进型 算子，通过最小外接矩形，获取长度、直径、弯曲度及均匀度特征要素。将杏鲍菇 图像转 颜色空间，完成菇体色泽及菇帽缺损检测特征要素提取。使用 联合在 平台完成视觉软件界面开发，包括图像采集、图像处理、串口通讯、产品配置及数据库管理大模块功能开发，并完成软件及装置工作性能 在 线 测 试。结 果 表 明，杏 鲍 菇 直 径 分 级 精 度 为，其余特征要素可达 以上，装置整体各规格杏鲍菇分级精度达 以上。该系统对菇体较小的杏鲍菇分级精度较低，后续可针对杏鲍菇直径检测方法和分级算法进行深入研究以进一步提高分级精度。参考文献?黄年来?一种市场前景看好的珍稀食用菌 杏鲍菇?中国食用菌?（?）?（?）?（?）?（?）?冯斌?汪懋华?基于颜色分形的水果计算机视觉分级技术?农业工程学报?（?）?（?）?郭峰?曹其新?谢国俊?等?基于?颜色空间的瓜果轮廓提取方法?农业机械学报?（?）?（?）?王宇杰?基于机器视觉的水果分级系统设计?包装 工程?（?）?（?）?弋伟国?基于机器视觉的枸杞分级分选机控制系统研究?银川?宁夏大学?食品装备与智能制造 总第 期 年月?吴明清?基于机器视觉红枣体积测量及分级方法研究?南京?南京农业大学?张铮?王艳萍?薛桂香?数字图像处理与机器视觉?北京?人民邮电出版社?王福斌?陈波?沈小伟?基于?的单目相机标定案例实现?实验技术与管理?（?）?（?）?应捷?陈文?杨海马?等?基于仿射变换与模板匹配的车位识别与计数算法研究?计算机应用研究?（?）?（?）?（?）?薛岚燕?刘杜鹃?陈艺慧?基于?边缘检测和外观特征的微血管瘤检测方法?现代电子技术?（?）?（?）?段军?高翔?基于统计滤波的自适应双阈值改进?算子边缘检测算法?激光杂志?（?）?（?）?李一波?刘佰仑?基于改进?算子的图像边缘检测算法?科学技术创新?（?）?（?）?申嘉锡?齐华?王晨?算子对图像边缘检测的一种改进?现代计算机?（?）?（?）?（?）?李伟?胡艳侠?吕岑?基于?空间的玉米果穗性状的检测?湖南农业大学学报（自然科学版）?（?）?（?）?（?）?石坤泉?魏文国?基于快速响应分解与颜色空间转换的光学彩色图像无损加密算法?光学技术?（?）?（?）?张建敏?于冬雪?柑橘叶面病害监测颜色空间改进算法研究?农机化研究?（?）?（?）?（?）?（?）?廉龙颖?王希斌?赵艳芹?程序设计与实践?北京?清华大学出版社?（上接第 页）?刘华文?苏海雁?陆小康?等?超高效液相色谱串联质谱法测定茶叶中?种农药残留?食品工业科技?（?）?（?）?贺利民?刘祥国?曾振灵?气相色谱分析农药残留的基质效应及其解决方法?色谱?（?）?（?）?满红平?吕生?毛静春?气相色谱串联质谱法测定普洱晒青毛茶中?种农药残留量?食品安全质量检测学报?（?）?（?）?，刘浩等：基于机器视觉的杏鲍菇外观品质分级系统设计