基于改进YOLOv4模型的番茄成熟度检测方法.pdf

基金项目：山西省重点研发计划项目（编号：）；山西省优秀博士科研资助项目（编号：）；教育部职业院校信息化教学指导委员会数字化转型行动研究课题（编号：）作者简介：吕金锐（），男，太原城市职业技术学院讲师，硕士。：收稿日期：改回日期：犇 犗 犐：犼 狊 狆 犼 狓 文章编号 （）基于改进 模型的番茄成熟度检测方法 吕金锐犔 犝犑 犻 狀 狉 狌 犻付燕犉 犝犢 犪 狀倪美玉犖 犐犕 犲 犻 狔 狌曹为刚犆 犃 犗 犠 犲 犻 犵 犪 狀 犵杜子涛犇犝犣 犻 狋 犪 狅（太原城市职业技术学院，山西 太原 ；西安科技大学，陕西 西安 ；浙江金华科贸职业技术学院，浙江 金华 ；河北工业大学，天津 ）（犜 犪 犻 狔 狌 犪 狀犆 犻 狋 狔犞 狅 犮 犪 狋 犻 狅 狀 犪 犾犆 狅 犾 犾 犲 犵 犲，犜 犪 犻 狔 狌 犪 狀，犛 犺 犪 狀 狓 犻 ，犆 犺 犻 狀 犪；犡 犻 犪 狀犝 狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犛 犮 犻 犲 狀 犮 犲犪 狀 犱犜 犲 犮 犺 狀 狅 犾 狅 犵 狔，犡 犻 犪 狀，犛 犺 犪 犪 狀 狓 犻 ，犆 犺 犻 狀 犪；犣 犺 犲 犼 犻 犪 狀 犵犑 犻 狀 犺 狌 犪犜 犲 犮 犺 狀 狅 犾 狅 犵 狔牔 犜 狉 犪 犱 犲犘 狅 犾 狔 狋 犲 犮 犺 狀 犻 犮，犑 犻 狀 犺 狌 犪，犣 犺 犲 犼 犻 犪 狀 犵 ，犆 犺 犻 狀 犪；犎 犲 犫 犲 犻犝 狀 犻 狏 犲 狉 狊 犻 狋 狔狅 犳犜 犲 犮 犺 狀 狅 犾 狅 犵 狔，犜 犻 犪 狀 犼 犻 狀 ，犆 犺 犻 狀 犪）摘要：目的：解决现有番茄成熟度检测方法存在的检测精度低和模型参数量多等问题。方法：基于番茄图像采集系统，提出了一种改进的 模型用于番茄成熟度自动检测。将轻量级网络 网络引入模型替换 网络，降低模型复杂度。在 模块中采用平均池化替代最大池化，提高算法对小目标的检测精度。在上采样过程中引入注意力机制 增强深浅层特征融合能力，并通过试验验证所提模型的可行性。结果：与常规方法相比，试验方法在番茄成熟度检测中具有较高的检测 值和运行效率，且模型参数量较少，值为 ，检测速度为 ，模型参数量为。结论：该番茄成熟度检测方法能有效降低模型参数和检测时间，具有较高的检测 值。关键词：番茄；成熟度；模型；网络；注意力机制 ；平均池化犃 犫 狊 狋 狉 犪 犮 狋：犗 犫 犼 犲 犮 狋 犻 狏 犲：犕 犲 狋 犺 狅 犱 狊：，犚 犲 狊 狌 犾 狋 狊：，犆 狅 狀 犮 犾 狌 狊 犻 狅 狀：，犓 犲 狔 狑 狅 狉 犱 狊：；番茄果实营养价值高，富含维生素和矿物质，是人们日常生活中不可缺少的部分。随着生活水平的提高，人们对番茄品质提出了更高的要求，而番茄分类过程是保证品质的重要环节。近年来，基于人工智能的检测算法层出不穷，深度学习在目标检测中逐渐成为主流。因此，将深度学习应用于番茄成熟度检测具有重要的实际意义。目前，食品品质检测方法主要有机器视觉检测、光谱成像检测及电子鼻检测等。机器视觉以其无损、经济等特点被广泛应用于食品工业中，但应用于番茄成熟度检测方面的研究较少。黄玉萍等提出了一种用于番茄成熟度检测的支持向量机判别模型，与常规模型相比，该模型具有较高的检测精度和较好的判别效果。马翠花等提出了一种用于番茄成熟度的检测方法，将密集和稀疏重构相结合，与常规检测方法相比，该方法具有较高的检测精度。王俊平等提出了一种用于番茄成熟度检测的多源信息融合方法，与单一检测方法相比，该方法提 第 卷第期 总第 期 年月高了番茄成熟度识别的准确性，准确率达 。龙洁花等 提出了一种用于番茄成熟度检测的改进 模型，该模型对不同成熟度的番茄果实具有较好的识别性能，识别精度在 以上。上述方法可以实现番茄成熟度的检测，但在实际应用中的特征提取过程较为复杂，检测精度和效率有待进一步提高。在此基础上，研究拟提出一种改进的 模型用于番茄成熟度自动检测，通过 网络、平均池化、注意力机制 优化，以期降低模型的复杂性以及提高计算效率和准确性，并通过试验验证所提模型的可行性，旨在为深度学习技术在食品检测中的应用提供一定的参考。图像采集系统番茄图像采集系统如图所示。首先，采用相机拍摄样本图像，发送给计算机进行图像预处理以提高图像识别和分类的精度，并结合文献 ，采用中值滤波和对比度拉伸的预处理方法。图像预处理后通过改进的 模型进行成熟度检测。相机光源样品台灯箱图图像采集系统 番茄成熟度检测模型 模型 网络结构主要由输入层、骨干网络层、颈部层和输出层组成。输入层主要负责输入待检测输出图像，骨干网络层在不同图像细粒度上聚合，形成图像特征的卷积神经网络，颈部网络层主要包括 、和 ，主要是一系列混合和组合图像特征的网络层。输出 层 输 出 检 测 结 果。的 网 络 结 构 如 图所示。图 网络结构 （）输入 层在 数 据 处 理 中 增 加 了 一 些 新 方 法，如 数据增强技术。（）骨干网络由特征金字塔池化网络（）和路径聚合层（）构成。层的作用是利用不同尺度的池化核，对从骨干网输入的特征进行池化叠加操作，扩大网络的接受范围。由个最大池化组成（、）。原理图如图所示。（）颈部网络可通过解码操作预测颈部网络获得的特征。（）输出层输出个不同尺度的特征图。图 模块结构 为了提高整个模型的性能，在 模型的基础上进行 改 进，用于 番 茄 成 熟 度 的 自 动 检 测。通 过 优 化 网络、平均池化、注意力机制 来降低模型复杂度和提高计算效率和准确性。改进 模型 网络在实际的检测环境中，计算资源非 常 有 限，试 验 将 轻 量 级 网 络 替 换 骨干网 ，实现了轻量化设计。于 年发布，其结合了 的深度可分离卷积、的 和 、模块，利用（神经结构搜索）检索网络的构成和参数。基于 将的深度卷积替换为大小深度卷积，虽然 激活函数可有效提高网络精度，但其计算量增加，不适合网络轻量化。考 ，吕金锐等：基于改进 模型的番茄成熟度检测方法虑到轻量化网络的实际应用，引入 激活函数来替代 函数，非线性激活函数在高层特征表现得更好，在保持精度的同时减少参数量和计算量。去除了尾部的卷积层且尾部的两层卷积不使用批量化处理，有效降低了运算量。激活函数如式（）所示。犎犛狓狓 （狓），（）式中：狓 输入向量；激活函数。在 结构中，骨干网中的个 残 差 单 元 模 块 被（）模 块取代。模块优化 模块采用最大池化操作提高网络训练速度和防止过度拟合。当识别对象与背景图像相似时，最大池化可能会丢失目标信息，从而导致模型漏检或误检。针对上述问题，文中基于 结构，对其 模块进行优化，通过平均池化（）替换最大池化（）以保留更多信息。结构如图所示。图 模块优化结构 注意力机制 模块 模块是一种空间与信道相融合的混合域注意力机制模块，其优点是能够以微小的计算开销集成到卷积神经网络的架构中。在将维度为犉犚犆犎犠的特征图输入到 的信道注意力结构后，对特征图的宽度和高度进行两种不同的池化操作，得到特征映射空间描述张量。用全连接共享网络和激活函数运算这两个一维张量，得到信道间的相关联系，得到信道的注意力特征犕犆犚犆犾犾。全连接网络的共享是为了获得不同信道之间的关联信息。在上采样过程中引入注意力机制 增强特征表达能力，增强深浅层特征融合能力。将两个一维向量合并到信道压缩权值，将权值与输入矩阵相乘，得到调整后的特征映射。在空间维中也进行相同的操作，将得到的空间压缩值与特征映射相乘，生成最后的特征映射。改进的 网络结构如图所示。图改进 结构 结果与分析试验参数为了验证试验方法的优越性，在 环境下基于 深度学习框架进行试验。相机采用大恒影像公司生产的 ，镜头为康标达公司生产的 ，光源为圆顶光源。系统参数见表。通过番茄样本集的训练对所提模型的初始参数进行调整，试验参数见表。番茄主要来源于某番茄种植基地，拍摄当天为晴天，室内温度，番茄图像主要通过试验箱模拟自然条件光采集，共采集 张图片，通过旋转、平移、缩放等方式进行扩展，扩展为 张图片，选择成熟番茄、半熟番茄表系统参数 配置参数操作系统 显卡 深度学习框架 环境 表试验参数 训练尺寸批量大小迭代次数初始学习率 贮运与保鲜 总第 期 年月和绿色番茄作为检测目标。每个成熟度选择 张，总计 张，大小为 像素 像素，分为训练集和测试集，且训练集测试集为。番茄的不同成熟度如图所示。图番茄不同成熟度图像 将采集到的图片运用旋转、平移、缩放、镜像等方式进行数据增强，并对增强后的图片进行标注。选择常用的精度（犘）、召回率（犚）、平均精度（）、平均精度均值（）、每秒检测帧数（）对模型进行评估。（）精度（犘）：预测结果中实际包含的正样本数。预测结果只有两种可能：正确的预测（）和错误的预测（），并按式（）计算精度。犘犜 犘犜 犘犉 犘。（）（）召回率（犚）：所有正样本都有两种可能的预测结果。正确预测数（）和未预测数（），如式（）所示。犚犜 犘犜 犘犉犖。（）（）平均精度（）：平均精度为准确率在召回率上的积分，只计算单一类别精度值，如式（）所示。犃 犘狆（狉）狉。（）（）平均精度均值（）：是对所有的 求平均值，如式（）所示。犿犃 犘狀狀犻犃 犘犻，（）式中：犃 犘犻 第犻个类别的平均准确度；狀 类别的数量。（）运行速度：通过每秒检测图像帧数评估模型的速度。试验分析为了测试模型的可行性，比较 网络、最大池化及注意力机制 优化改进前后的性能以提高计算效率和准确性，结果见表。由表可知，在番茄成熟度检测中 值为 ，引入 网络、平均池化、注意力机制 后，在番茄成熟度检测中 值分别为 ，。试验方法的 值最优，达到 。与未改进前的 模型相比，试验模型的 值提高了 ，提高了 ，参数量降低了 。虽然试验模型的 和参数量比 模型的稍差，但其 值提高显著，表明试验模型可以较好地均衡检测 值和效率。这 是 因 为 轻 量 网 络 网 络 替 换 了 网络，降低了模型的复杂性。模块采用平均池化代替最大池化，提高了算法对小目标的检测精度。在上采样过程中引入注意力机制 增强特征表达能力，增强了深浅层特征融合能力。表优化后的试验结果对比 算法成熟番茄平均精度未成熟番茄平均精度青番茄平均精度 参数量 平均池化 试验方法 为 进 一 步 测 试 模 型 的 可 行 性，将 试 验 方 法 与 模型进行对比分析，将时延结果绘制成对应的 曲线图（图、图）。由图和图可知，与 模型相比，试验方法在番茄成熟度的检测中 曲线更稳定，随着召回率的上升，检测 精 度 的 下 降 速 度 也 更 缓 慢，说 明 对 模 型 进 行 网络、平 均 池 化、注 意 力 机 制 等 优化，可提高对番茄成熟度的检测性能。为了测试模型的有效性，将试验方法与文献 的图 模型对应的 曲线 ，吕金锐等：基于改进 模型的番茄成熟度检测方法图试验模型对应的 曲线 （颈部 结构中加入 模块）和文 献 的 模 型 进 行 对 比，结 果见表。由表可知，试验方法在番茄成熟度的检测中 值为 ，与文献 和文献 的相比分别提高了 和。试验方法在番茄成熟度检测中的检测帧数为 ，相比文献 和文献 的分别提高了 和 。试验方法的番茄成熟度检测参数量为 ，相比文献 和文献 的分别降低了 和。这是因为试验模型中加入了注意力机表不同方法试验结果对比 模型成熟番茄平均精度未成熟番茄平均精度青番茄平均精度 参数量文献 文献 试验方法 制 使 模 型 提 取 的 特 征 信 息 更 加 丰 富，加 入 网络降低了模型的复杂度，引入平均池化提高了小目 标 的 检 测 精 度，所 以 试 验 模 型 的 综 合 性 能较优。结论研究将改进的 模型用于番茄成熟度的自动检测，通过 网 络、平 均 池 化 及 注 意 力 机 制 个方面的优化以提高其性能。结果表明，与常规方法相比，试验所提方法在番茄成熟度检测中具有较高的检测平均精度均值和效率，且模型参量较少。与改进前 的 模 型 相 比，平 均 精 度 均 值 提 高 了 ，每秒 检 测 帧 数 提 高 了 ，参 数 降 低 了 。相比于文献 和文献 ，平均精度均值分别提高了 和，每 秒 检 测 帧 数 分 别 提 高 了 和 ，参数分别降低了 和，具有一定的实用价值。但试验数据集为自制，具有一定的局限性，后期将逐步完善和优化现有模型以实现番茄成熟度和缺陷的同时检测。参考文献?刘芳?刘玉坤?林森?等?基于改进型?的复杂环境下番茄果实快速识别方法?农业机械学报?（?）?（?）?项辉宇?薛真?冷崇杰?等?基于?的苹果品质视觉检测试验研究?食品与机械?（?）?（?）?杨森?冯全?张建华?等?基于轻量卷积网络的马铃薯外部缺陷无损分级?食品科学?（?）?（?）?张思雨?张秋菊?李可?采用机器视觉与自适应卷积神经网络检测花生仁品质?农业工程学报?（?）?（?）?程磊?基于改进粒子群算法的苹果表面缺陷检测?食品与机械?（?）?（?）?张义志?王瑞?张伟峰?等?高光谱技术检测农产品成熟度研究进展?湖北农业科学?（?）?（?）?黄玉萍?卢仁富?戚超?等?基于空间可分辨光谱的番茄成熟度判别方法研究?光谱学与光谱分析?（?）?（?）?马翠花?张学平?李育涛?等?基于显著性检测与改进?变换方法 识 别 未 成 熟 番 茄?农 业 工 程 学 报?（?）?贮运与保鲜 总第 期 年月?（?）?王俊平?徐刚?机器视觉和电子鼻融合的番茄成熟度检测方法?食品与机械?（?）?（?）?龙洁花?赵春江?林森?等?改进?的温室环境下不同成熟度番茄果实分割方法?农业工程学报?（?）?（?）?周雨帆?李胜旺?杨奎河?等?基于轻量级卷积神经网络的苹果表面缺陷检测方法?河北工业科技?（?）?（?）?梅金波?李涛?秦寅初?苹果采摘机器人监测系统和表面缺陷检测方法研究?计算机测量与控制?（?）?（?）?孙建桐?孙意凡?赵然?等?基于几何形态学与迭代随机圆的番茄识别方法?农业机械学报?（?）?（?）?周伟?徐颖若?基于?和图像处理的水果分类智能控制系统?农机化研究?（?）?（?）?赵小霞?李志强?基于?和机器视觉的水果自动分级系统研究?农机化研究?（?）?（?）?海潮?赵凤霞?孙烁?基于?分析的红枣表面缺陷在线检测技术?食品与机械?（?）?（?）?谢忠红?姬长英?郭小清?等?基于改进?变换的类圆果实目标检测?农业工程学报?（?）?（?）?王阳阳?黄勋?陈浩?等?基于同态滤波和改进?的苹果分级算法研究?食品与机械?（?）?（?）?王立扬?张瑜?沈群?等?基于改进型?的苹果自动分级方法?中国农机化学报?（?）?（?）?于蒙?李雄?杨海潮?等?基于图像识别的苹果的等级分级研究?自动化与仪表?（?）?（?）?樊泽泽?柳倩?柴洁玮?等?基于颜色与果径特征的苹果树果实检测与分级?计算机工程与科学?（?）?（?）?王冉冉?刘鑫?尹孟?等?面向苹果硬度检测仪的声振信号激励与采集系统设计?浙江大学学报（农业与生命科学版）?（?）?（?）?（?）?杨志锐?郑宏?郭中原?等?基于网中网卷积神经网络的红枣缺陷检测?食品与机械?（?）?（?）?孔维刚?李文婧?王秋艳?等?基于改进?算法的轻量化网络设计与实现?计算机工程?（?）?（?）?陈伟?张春雨?朱超冉?基于?算法的番茄成熟度识别研究?安徽科技学院学报?（?）?（?）?，吕金锐等：基于改进 模型的番茄成熟度检测方法