基于光学特性参数反演的苹果水心病检测.pdf

南京农业大学学报():/.:./.收稿日期:基金项目:国家自然科学基金项目()中央高校基本科研业务费专项资金()南京农业大学塔里木大学科研合作联合基金项目()新疆建设兵团南疆重点产业支撑计划项目()作者简介:张思旭硕士研究生通信作者:王浩云副教授博士主要从事作物表型参数测量研究:.张思旭徐焕良王江波等.基于光学特性参数反演的苹果水心病检测.南京农业大学学报():.():.基于光学特性参数反演的苹果水心病检测张思旭徐焕良王江波孙云晓王浩云(.南京农业大学人工智能学院计算机系江苏 南京.塔里木大学植物科学学院新疆 阿拉尔)摘要:目目的的 针对传统的果蔬品质检测方法费时且破坏检测样本的问题提出了一种新的苹果水心病检测方法 方方法法 采用具有水心病的新疆阿克苏苹果作为样本首先利用反向倍增法计算得出苹果每层组织的光学特性参数然后利用苹果果皮、果肉、果核层的光学参数据构建 层迁移反演模型使用蒙特卡罗法对苹果内部的光子轨迹进行仿真并获取苹果表面的仿真光亮度图 由于水心病通常发生在苹果果核层通过仿真光亮度图学习苹果果核层的特征然后迁移到实测苹果样本数据中进行学习和预测 基于光学特性参数反演的检测方法是利用蒙特卡罗法和卷积神经网络提取与水心病相关的苹果果核层光学特征使用迁移学习将这些特征与实际苹果样本水心病病情建立联系成功利用模拟数据提取实测数据中由于存在噪声而无法提取的有效特征提高了水心病预测的速度和准确度 结结果果 基于光学特性参数反演的水心病检测方法在二分类条件下的预测准确率达到.优于直接使用高光谱数据的卷积神经网络模型和 模型在四分类条件下预测准确率能达到.相较于卷积神经网络模型提高约 结结论论 试验结果说明所提出的基于光学特性参数反演的水心病检测方法能有效提取更多与水心病相关的苹果果核层高光谱特征为苹果水心病的检测提供了一种新的思路关键词:苹果水心病预测光学特性参数反演高光谱卷积神经网络迁移学习中图分类号:.文献标志码:文章编号:()(.):.第 期张思旭等:基于光学特性参数反演的苹果水心病检测 .:在市场上含有一定程度水心病的苹果甜度高也更受欢迎 新疆阿克苏苹果以透明的果核“糖心”使其显著区别于其他产地的红富士苹果这也是阿克苏苹果在市场上保持竞争力和独特性的原因 阿克苏苹果的“糖心”本质上是苹果得了水心病而出现糖分堆积的现象因此检测苹果的“糖心”就是检测苹果的水心病状况 在这种背景下如果能够提出一种快速无损的检测方式来帮助果农识别所有的“糖心”苹果那么就能有效降低因检测技术落后所造成的“糖心”苹果在分类时的损失水果的光学特性参数包括水果组织的吸收系数和散射系数 吸收系数主要反映果蔬内部不同吸光度的溶解物等化学物质的性质和浓度而散射系数主要与果蔬的内部结构有关 由于光在果蔬组织中传播时会经过吸收和多次散射因此在溢出表面时能够携带出果蔬的内部品质信息 基于光学特性参数的无损检测技术在水果品质检测方面具有独特优势 潘磊庆等研究了基于光学特性参数进行果蔬品质检测的方法发现该方法在果蔬品质检测应用上效果很好 基于高光谱的检测方法和基于光学特性参数的检测方法是目前光学特性检测中的主要检测方法 高光谱图像技术能够获取果蔬内部品质的光谱信息与空间信息可以有效应用在水果的品质检测上 高光谱系统通过点扫描、线扫描和面扫描 种方式获取被检测果蔬的“图谱合一”的三维数据立方体 在经过图像校正和预处理等操作后基于高光谱的检测方法通过对所得光谱图像不同波段的特征分析寻找光谱图像与所需检测的果蔬品质之间的关系 在获得光谱图像与果蔬品质之间的关系之后通过机器学习等方法对图像数据进行处理以此实现果蔬的品质检测 张保华等通过对不同高光谱成像特征波长下蓝莓内部品质预测效果的研究验证了高光谱图像预测果蔬内部品质的可行性 戈永慧等采用高光谱成像技术实现了猕猴桃冷害检测 王思玲等采集水心病苹果 的近红外波段高光谱图像选取图像中感兴趣区域计算平均光谱并采用支持向量机()进行分类得到了最高 的判别准确率 郭俊先等测试了贝叶斯判别、主成分分析等多种识别模式的模型性能发现所提模型能够达到.的测试集识别准确率在目前的研究中实际样本数据量不足且提取数据易受多种因素干扰使模型测量精度受限 使用光子传输模拟的方法能够有效获取大量无噪声数据 刘燕德等研究发现蒙特卡罗方法在水果光学特性参数测量中效果很好 李细荣等以桃子、苹果和番茄为研究对象验证了水果内部品质与其吸收或散射系数相关联 王伟研究发现光学特性参数反演法能够减少光源处误差的引入提高水果组织光学特性参数的反演精度 赵会娟等使用微扰蒙特卡罗模型的研究结果表明单层和双层层状组织的光学特性参数重构快速而准确 深度学习方法虽然在果蔬的光学参数反演中效果很好但仍然会遇到模型训练时间长、训练所需要数据多等问题 迁移学习方法通过对已训练完成的模型进行微调能够快速训练出一个适应相似情景的新模型 研究发现迁移学习法在农产品病害识别小样本训练数据的情况下可以取得很好的识别结果将基于迁移学习法的光学参数反演模型应用于苹果二层平板模型的效果优于其他方法 徐焕良等对比了点光源和面光源条件下光学参数反演的准确率发现面光源下的反演准确率优于点光源下的准确率并且光学参数反演可检测苹果内部品质由于病害果与正常苹果差异较大两者在光谱能量吸收和散射系数上有差异通过对苹果光谱数据差异分析可以有效分辨病果和好果 本文以新疆阿克苏苹果为样本提出一种基于苹果光学特性参数反演的水心病检测方法以实现苹果的水心病无损检测 材料与方法.实测数据采集选取新疆阿克苏苹果 个均为表面光滑、大小均匀、无明显损坏的正常样本 样本中无水心病样本 个水心病样本 个 试验前将苹果贮存在低温环境下 数据采集前将苹果标号并放置于常温下一段时间使苹果样本的温度达到室温以避免测量过程中由温度变化导致数据误差.苹果面光源高光谱数据采集 使用上海五铃光电科技有限公司的 型高光谱成像系南 京 农 业 大 学 学 报第 卷统采集高光谱数据采集波段为.该系统主要由 型高感相机、型线性卤素光导管组()、步进电机和 型光谱仪组成结构如图 所示 采集的高光谱图像数据通过 软件导出 由于苹果各部分与高光谱相机距离存在差异选取苹果与高光谱相机镜头距离相同的 像素的部分为感兴趣区域()为了减少误差影响对采集得到的 个波段数据进行处理前、后两端各去除 个噪声较大的波段对保留的 个波段进行平滑处理并将结果作为实测数据.苹果水心病图片采集及分类 将苹果沿赤道面切开并对切开面拍摄获得切面图(图)采用自动二值化算法获得苹果水心病面占苹果赤道面的占比数据 根据占比()对样本进行分类分类标准如表 所示图 苹果赤道面图 图 高光谱成像系统结构 表 多分类情况下各分类的标准设定 分类情况 分类标准 二分类 三分类 .四分类 .迭代计算苹果 层平板光学参数采集 使用上海五铃光电科技有限公司的双积分球系统系统结构如图 所示采集得到 个苹果样本的反射率、透射率 实测苹果果皮层样本厚度为.果肉层样本厚度为.果核层样本厚度为.近红外数据采集使用.软件可见光数据收集采用.软件 数值扫描平均次数设置为 宽度为 强度修正取消 根据实测所得的苹果果皮、果肉和果核 层组织的反射率和透射率使用反向倍加法()迭代计算获得苹果各层组织的光学特性参数图 双积分球系统结构示意图 .层平板的苹果模型表面光亮度图模拟反向倍增法()是一种用来配合积分球系统求解光学参数的算法 该方法可以在已知薄片样本光学参数的情况下计算出光学特性相同但厚度不同的另一样本的光学特性参数根据.节测量得出的苹果每层组织切片的透射率和反射率使用 方法计算苹果每层的实际 第 期张思旭等:基于光学特性参数反演的苹果水心病检测光学特性参数得出苹果组织的果皮吸收系数(.)、果肉吸收系数(.)、果核吸收系数(.)、果皮散射系数(.)、果肉散射系数(.)、果核散射系数(.)从统计样本中出现次数最多的几个整数值中选取中位数作为仿真参数的输入在苹果 层组织厚度设置上实测获得果皮层厚度为.该层厚度设置对果核层特征提取影响度较小故根据平均值只设置单数值为.实测获得果肉层厚度为 取均匀分布双数值分别为 和 最终取 个光学特性参数组合设置模拟试验的光学特性参数数值 其中分为 类和 分为 类和 分为 类分为 类具体取值详见表 表 光学参数分类 光学特性参数 取值/光学特性参数 取值/.蒙特卡罗方法通过产生一系列随机数构造出一个近似于实际物理过程的随机概率模型并通过计算得出实际参数的近似值 这种方法适用性强且在各种条件、各种精度情况下都能良好运作使得该方法可以运用在对精度要求较高且对光源和边界没有条件限制的生物组织光子传输模型仿真上 研究表明采用面光源入射方式比点光源入射方式检测结果更好 本试验采用面光源入射方式选择垂直入射的面光源大小为 并假定所有光子的入射方向为 轴方向 由于苹果水心病多发生在深度较深的果实心室的维管束附近因此在建立模型时选择使用果皮、果肉和果核的 层组织平板模型将果核层视为厚度无限大的果肉组织层只设置果皮和果肉层的厚度 苹果 层平板模型如图 所示图 苹果 层平板模型 在进入苹果组织后光子每移动一个随机步长都会因为与苹果组织颗粒发生碰撞而造成部分光子被吸收和散射从而导致光子权重下降权重 将按照如下函数进行更新:()()式中:是组织的吸收系数是组织的散射系数光子发生散射后其新的传播方向将由方位角 和散射偏转角 决定计算公式分别为:()()()()()式中:为()上的随机数 为各向异性因子光子在移动过程中会出现穿越边界的情况 因此在当前步长的移动中需要对光子的运动状态进行判断)对光子是否越界进行判断 如果不越界则对光子进行吸收与散射操作并更新权重如果越界则判断光子下一步是否会逃逸出苹果组织表面(简称出界)对光子是否出界进行判断 如果不出界需要判断它是折射还是反射并更新权重如果出界则判断是否是最后 个光子)对是否为最后 个光子进行判断 如果是最后 个光子就结束本次运算如果不是最后 个光子就对光子进行初始化继续按步长进行移动 完成 个步长的移动后光子会继续重复移动随机步长并发生吸收和散射 最终出现 种情况光子在果皮层边界因为反射或透射而逃逸出苹果组织或者光子由于权重过小被苹果组织吸收 在权重值判断时预先设定阈值权重(本试验中为)随后采用俄罗斯轮盘赌处理:先给定一个整数 然后产生一个均匀分布的随机数 如果 则判定光子死去否则将光子的权重重设为 继续进行下一个步长的移动通过蒙特卡罗法模拟光子溢出苹果表面时的光亮度图设置各向异因子 为.空气折射率 为果皮折射率、果肉折射率、果核折射率 均为.模拟光子数设置为 代入苹果 层组织南 京 农 业 大 学 学 报第 卷图 模拟苹果光亮度图 光学特性参数可以模拟出的模拟光亮度图如图 所示.基于光学特性参数反演的苹果水心病检测方法基于光学特性参数反演的苹果水心病检测方法模型先使用模拟数据提取果核层特征然后将所训练模型迁移至实测数据集来完成实测条件下苹果水心病状况的检测 该方法包括基于卷积神经网络的方法和基于迁移学习的方法 其中基于卷积神经网络的方法利用模拟光亮度图作为输入苹果果核层光学特性参数分类作为输出训练模型并提取果核层的特征 由于苹果水心病状况需要使用实测数据进行检测而从蒙特卡罗法模拟的仿真光亮度图中只能提取模拟数据下的苹果果核层光学特征因此还需通过迁移学习将使用模拟数据学习得到的果核层特征与实测数据下该特征对应的水心病状况进行关联 方法的技术路线如图 所示图 苹果水心病检测方法技术路线图 基于迁移学习的方法将通过蒙特卡罗模拟获取的仿真光亮度图亮度矩阵作为输入使用卷积神经网络提取苹果果核层的特征 由于果核层深度较深能有效携带出果核层特征的光子数量较少 为了尽可能多获取苹果果核层组织的光学特性参数特征迁移学习模型训练时将表 中 和 组合的 分类改为 分类以达到提高果核层特征提取的效果 其中中将、分别合并为一类中、合并为一类 为单独一类 在完成特征提取后保存该已训练好的模型并迁移至实测的苹果表面高光谱数据上 在模型微调时考虑到苹果水心病状况与果核层的光学特性参数关联很大在微调时不额外增加卷积层只对全连接层的输出进行调整将分类设置为实测数据所对应的水心病状况分类随后再次对微调后的模型进行训练完成对苹果水心病状况的检测迁移学习模型结构如图 所示其中迁移学习模型包括 层卷积层、层池化层、层 层和 层全连接层 由于仿真光亮度矩阵中边缘部分多为 且对比原始 矩阵中的()、()、()在实际训练中的结果选取训练较好的()的 像素的苹果仿真光亮度矩阵作为输入通道数为 第 层卷积层的卷积核大小为 通道数为 步长为 第 层池化层的窗口大小为第、层的卷积核大小均为 步长均为 通道数分别为 和 卷积层使用 作为激活函数 层的数值设置为.以减少过拟合带来的影响 全连接层是一维的 向量最后一层为网络输出层完成对 和 的组合分类实现对苹果果核层的特征提取.试验设计将实测的新疆阿克苏苹果高光谱数据和果皮、果肉、果核层的反射率和透射率作为输入使用蒙特卡罗法反演出苹果的模拟光学特性参数旨在利用这些数据建立不同的模型对苹果水心病状况进行检测并对比结果验证基于光学参数反演的苹果水心病检测方法的可行性和优越性 结果分为二分类、三分类和四分类 种情况对比模型为使用特征提取的 模型和卷积神经网络模型 种模型在实测数据预测时均采用.节的实测数据作为输入基于特征提取的 分类方法的训练环境采用.软件完成 硬件环境为 显卡 计算得到输入数据光谱平均值后使用主成分分析()进行特征提取提取出贡献率达到 的特征波段提取后的维度为 完成特征提取后按照 的比例划分训练集和测试集使用 支持向量机进行苹果水心病有无的二分类模型训练 进行三分类时采用一对一策略()在每 个分类之间构建一个 分类器对样本进行三分类训练 第 期张思旭等:基于光学特性参数反演的苹果水心病检测图 神经网络结构模型 光学特性参数反演模型的迁移学习训练部分在.、.软件环境下完成 硬件环境同上 迁移模型将利用蒙特卡罗模拟方法反演得到的 个仿真光亮度图亮度矩阵作为输入按照 的比例划分训练集与测试集进行模型训练 批次大小为 学习率为.迭代 次完成训练在迁移学习时实测数据以 的比例随机划分训练集和测试集 为降低相邻波段高光谱图像差异性较小对模型的影响实测数据每 个波段选择 幅高光谱图像最终得到 个苹果的(/)幅实测图像每幅图像尺寸为 像素 对预训练模型的全连接层进行微调查看微调的结果迁移学习模型和非迁移学习模型的预测结果均采用 次迭代后的数据使用卷积神经网络方法采用与迁移学习模型相同的训练模型实测数据以 的比例随机划分训练集和测试集使用实测数据作为输入苹果水心病状况作为输出卷积神经网络各层参数设置与迁移学习模型相同图 高光谱曲线 结果与分析.高光谱方法预测结果苹果样本高光谱图像的 个波段的数据经过 平滑处理后得到的平均光谱曲线如图 所示 平滑减少了光谱曲线中随机噪声的影响保留了数据特征使得曲线平滑并易于后续的特征学习 二分类和三分类下不同核函数对应的 模型预测结果如表 所示惩罚系数设置为.由表 可见使用 核函数的效果最好在二分类下预测精度达到.与其他核函数相比提高 以上南 京 农 业 大 学 学 报第 卷表 不同核函数下 模型的预测结果 分类情况 核函数预测精度 核函数预测精度 核函数预测精度 核函数预测精度 二分类 .三分类 .卷积神经网络方法预测结果卷积神经网络方法的卷积层激活函数和全连接层激活函数在不同设置下对苹果水心病预测的准确率如表 所示全连接层的激活函数选用 由表 可知卷积神经网络模型中选择 函数作为卷积层的激活函数在二分类、三分类和四分类下对苹果水心病预测的准确率分别达到.、.和.相较于其他激活函数在二分类下的测试集精度提高了.以上表 卷积神经网络参数设置及结果 卷积层激活函数 二分类预测精度 三分类预测精度 四分类测预测精度 .基于光学特性参数反演方法预测结果基于光学特性参数反演方法中不同卷积层激活函数苹果水心病预测的准确率如表 所示 迁移学习结果与直接使用卷积神经网络模型的结果相似 函数的预测精度均为最高值 函数下迁移学习模型的预测准确率在二分类、三分类和四分类下分别达到.、.和.相较于其他激活函数在二分类下的测试集精度提高了 以上表 迁移学习模型参数设置及结果 卷积层激活函数 二分类预测精度 三分类预测精度 四分类预测精度 .种方法结果对比及分析不同分类条件下采用最优参数组合得到的训练集和测试集的准确率如表 所示 基于光学参数反演的检测方法在多种分类情况下苹果水心病的检测准确率都达到了 以上 基于卷积神经网络的检测方法分类准确率在各分类下都略低于基于光学参数反演的检测方法并且准确率差距随着分类的增加不断扩大 基于高光谱特征和支持向量机的检测方法效果最差在二分类和三分类情况下都低于卷积神经网络的检测方法和基于光学参数反演的检测方法表 最优参数设置下各方法和分类情况下的训练结果 方法 分类 校正集 损失 精度 测试集 损失 精度 基于高光谱和 的方法 二分类 三分类 .基于卷积神经网络的方法 二分类 三分类 四分类 .基于光学参数反演的方法 二分类 三分类 四分类 .第 期张思旭等:基于光学特性参数反演的苹果水心病检测 随着分类细化 种方法的分类准确率都呈现下降趋势基于 的方法从二分类的.降至.卷积神经网络方法从二分类的.降至.基于光学参数反演的方法从二分类的.降至.造成基于光学参数反演方法和基于卷积神经网络方法分类准确率降幅较小的原因是两种方法对于特征提取效果较好而基于 的方法特征提取不足预测时分类准确率不如以上两种方法在测试集的损失比较中可以发现卷积神经网络测试集的损失从二分类的.上升至.基于光学参数反演方法的测试集损失从.上升至.两者的损失均呈现上升趋势各分类条件下基于光学参数反演方法的损失及损失增幅均低于基于卷积神经网络方法 这可能是由于基于光学参数反演的方法对模拟数据的学习能够得到更多的特征迁移至实测样本中检测效果更好 讨论传统的苹果水心病检测方法大多使用、卷积神经网络等模型对苹果实测高光谱数据进行分析其检测精度易受到实测样本数量限制和检测噪声的影响 相较于上述方法本文所提检测方法模拟了光子在苹果组织内部的传输轨迹用模拟数据扩充了实测数据集并利用迁移学习保证了所提取高光谱特征的有效性 徐焕良等使用曲面苹果模型贴合苹果实际情况能够更高精度的模拟苹果组织内部光子的运动轨迹但是模型复杂度较高计算速度较慢 而本文所提方法为了降低模型训练时间和训练复杂度选择将曲面模型简化成平板模型降低了模型训练时间和复杂度但是在检测精确度上稍有劣势 徐焕良等使用苹果果皮和果肉 层平板模型实现了通过光学特性参数反演预测苹果的糖度和硬度的目标本试验检测的目标为苹果水心病状况因此对文献中的方法进行改进将 层平板模型扩展为包含果皮、果肉和果核的 层平板模型通过提取与水心病相关的高光谱特征实现苹果水心病更高精度地预测预测效果较好 本文所提方法目前只应用于苹果水心病检测未来需要在其他种类水果的品质检测中进一步验证和完善参考文献:刘淑玉祁东文.浅析阿克苏苹果产业发展.山西果树():.():().孙晓林周童童孙志忠等.光学特性在果蔬品质无损检测中的研究进展.食品研究与开发():.():().王顺黄星奕吕日琴等.水果品质无损检测方法研究进展.食品与发酵工业():.():().潘磊庆魏康丽曹念念等.果蔬光学参数测量及其在品质检测方面的研究进展.南京农业大学学报():.:./.():().贾敏欧中华.高光谱成像技术在果蔬品质检测中的应用.激光生物学报():.():().何馥娴蒙庆华唐柳等.高光谱成像技术在水果品质检测中的研究进展.果树学报():.():().古文君田有文张芳等.基于高光谱成像的蓝莓内部品质检测特征波长选择方法研究.沈阳农业大学学报():.():().张保华李江波樊书祥等.高光谱成像技术在果蔬品质与安全无损检测中的原理及应用.光谱学与光谱分析():.():().戈永慧宋进潘磊庆等.基于高光谱成像检测猕猴桃冷害的研究.南京农业大学学报():.:./.南 京 农 业 大 学 学 报第 卷 .():().王思玲蔡骋马惠玲等.基于高光谱成像的苹果水心病无损检测.北方园艺():.():().郭俊先马永杰田海清等.基于高光谱反透射图像的新疆冰糖心红富士水心鉴别.食品科学():.():().刘燕德陈兴苗.光学特性参数的测量方法在水果组织中的应用.农产品加工(学刊)():.():().李细荣刘木华黎静等.水果组织中光子传输的蒙特卡罗模拟.农业机械学报():.():().王伟.水果组织光学特性参数反演模型及其应用研究.无锡:江南大学.:().赵会娟阎长斐张顺起等.基于微扰蒙特卡罗的薄层状组织光学特性参数重构技术.纳米技术与精密工程():.():().马铮.基于深度迁移学习的玉米叶部病害识别方法研究.哈尔滨:东北农业大学.:().罗鸣方睿徐铭美等.基于迁移学习和轻量级卷积神经网络农作物病害识别.现代计算机():.():().赵恒谦杨屹峰刘泽龙等.农作物叶片病害迁移学习分步识别方法.测绘通报():.():().徐焕良周冰清王浩云等.基于模型迁移的苹果光学特征参数反演.农业机械学报():.():().徐焕良孙云晓曹雪莲等.基于光子传输模拟与卷积神经网络的苹果品质检测.农业机械学报():.():().潘磊庆方莉周彬静等.光学参数测量系统和原理及其在果蔬品质检测方面的研究进展.南京农业大学学报():.:./.():().徐志龙王忠义黄岚等.农产品光学参数测量的双积分球系统及其应用.农业工程学报():.():().姜云斌王志华贾朝爽.苹果水心病的发病机理研究进展.中国果树():.():().高迪魏守水任晓楠等.蒙特卡罗方法模拟生物组织中光的分布.山东大学学报(工学版)():.()():().责任编辑:沈 波