基于RGB图像的香梨体尺参数测量方法_张润芝.pdf

农业工程农业与技术2023，Vol.43，No.08基于 GB 图像的香梨体尺参数测量方法张润芝 吴刚(塔里木大学信息工程学院，新疆 阿拉尔 843300)摘要:为快速获取香梨果实的体尺参数，使香梨分级定价销售，提高香梨的经济价值。设计了一种香梨果实体尺参数检测方法。该方法可通过香梨 GB 图像检测出香梨的长和直径并估算出香梨的体积参数。原始图像经边缘检测提取出香梨果实边缘，利用最小外接矩形法得到香梨长与直径的像素个数，通过已知大小的标定板换算出像素点实际大小，二者相乘计算出香梨的长和直径;分别使用 SV 模型和决策树回归模型，采用长与直径特征参数训练并预测香梨的体积。实验采集了 125 个香梨样本的 GB 图像，测量其真实的长、直径和体积，任选其中 25 个香梨的 GB 图像检测其长和直径并作为测试集验证体积预估模型，剩下的 100 个香梨作为训练集。结果表明，长测量值的 2为 0.91，MSE 为 1.87mm，平均相对误差为 2.3%，香梨果实的直径测量值的 2为 0.71，而 MSE 为 1.94mm，平均相对误差为 3.1%;采用 SV 模型香梨体积预估值的 2为 0.45，MSE 为 18.47mL，采用决策树回归模型香梨体积预估值的 2为 0.75，MSE 为 12.07mL。该方法可为香梨分级装置的研发提供数据支撑。关键词:计算机视觉;体尺参数;图像处理;SV;决策树回归中图分类号:S24文献标识码:ADOI:10.19754/j.nyyjs.20230430006收稿日期:20230227作者简介:张润芝(1998)，女，硕士在读。研究方向:机器视觉与图像处理;通讯作者吴刚(1978)，男，硕士，副教授。研究方向:信息处理与智慧农业等。引言香梨的体尺参数一定程度上反映了香梨的等级，不同等级的香梨可分级定价销售，提高香梨的经济价值。因传统的接触式测量1，2 存在效率低、不准确等诸多问题，非接触式测量方法得到飞速发展。翟鹏3 采集葡萄不同时期的果实图像，利用机器视觉及图像处理，计算了葡萄果实不同生长时期的表型参数。申爱敏等4 利用图像处理的方法，通过阈值分割得到了核桃仁的分割图像，采用像素统计方法得到核桃仁的面积，实现了核桃仁大小分级。郭俊先等5 通过分析提取苹果 GB 图像中单色、波长差等信息，利用形态学方法处理图像，提取了目标区域几何、灰度和色调频度等特征，采用多元线性和偏最小二乘回归预测了苹果的质量和糖度等指标。为了实现快速准确获取果实的体尺参数信息，本文以香梨作为研究对象，对基于 GB 图像的香梨体尺参数测量方法进行研究。采用图像处理的方法和机器学习技术，获取香梨果实的长、直径、体积，使用Kinect 相机获取香梨的 GB 图像，通过兴趣域选取、透视矫正、图像分割等步骤获取香梨果实的边缘图像，用最小外接矩形法得到香梨果实长和直径的像素数，并和通过标定板计算出的像素实际大小相乘计算出长、直径真实大小;利用 SV、决策树回归模型以香梨果实长、直径为输入，预测果实的体积。1香梨图像处理1.1兴趣域的选取通过 Kinect 采集的原始香梨 GB 图像不仅包含香梨果实，还包含标定板、背景等，过多的冗余信息会导致图像分割的结果不理想，因为图像处理技术对环境要求较高，故需要剔除冗余的背景，将注意力集中在有用信息上。使用 MATLAB 自带的“getrect”函数可以选择兴趣域，使用“imcrop”函数截取兴趣域。1.2图像的透视矫正由于 Kinect 在安装时并不能完全竖直向下，所以拍摄得到的照片呈现在人们眼前时是失真的，此时就需要透视矫正，呈现出来的效果就是使图像里存在的线条横平竖直。透视矫正还有一个作用就是使后续检测香梨表型参数时更加准确，因为 Kinect 不是竖直向下拍摄的，所以拍摄的标定板和香梨每个像素点所对522023，Vol.43，No.08农业与技术农业工程应的实际大小是不一样的，因此后续计算香梨长度、直径等参数时误差会增加。为简化后续计算香梨长度、直径的算法，若感兴趣的区域只有 A3 纸所在的区域，减少背景对在此进行角点检测。将兴趣域选取和透视矫正同时进行。检测到标定板 A3 纸的 4 个角点后，形成一个矩形框，对矩形框内的区域进行透视矫正并截取此区域内的图像。1.3图像分割图像分割的目的是将图像中所需要的某部分整体分割出原图像，常见的图像分割方法有阈值分割法、区域分割法、边缘分割法和直方图法。其中，阈值分割法是根据灰度阈值将原灰度图像分成若干个区域的技术，适用于欲分割区域和其他区域的灰度值差异较大。优点是计算简单、效率高。边缘分割法是根据物体和背景的灰度值突变和不连续来识别和分割的，通过不同的滤波器来检测这种突变和不连续就构成了不同种类的边缘检测算法。阈值分割方法中常用 Otsu(最大类间方差法)，通过聚类将灰度图像分为 2 块，香梨和背景的灰度值差别较大，适合使用 Otsu 方法进行图像分割。边缘分割算法中常用 Canny 算子进行边缘检测，首先利用高斯滤波降低噪声，防止虚假边缘;计算图像的梯度和梯度方向;对梯度图像应用非极大值抑制;使用双阈值处理和连通性分析来检测与连接边缘，最后填充最大连通块的内部。本文图像分割使用 Otsu 算法和 Canny 算子，对比2 种方法的效果，图 1 为分割后的香梨图像。图 1a 可以看出，Otsu 算法对香梨边缘的识别较好，香梨顶端的凹陷更加明显，但是香梨中间有孔洞，Canny 算子对香梨边缘的提取能力较弱，但是香梨中间没有孔洞。虽然 Canny 算子对边缘的处理能力稍弱，但对后续香梨尺寸参数的计算影响不大，为了减少后续的处理过程，选用 Canny 算子做边缘分割并填充内部区域的方法。图 1图像分割对比图2香梨长、直径和投影面积的测算2.1像素点长宽的实际大小计算方法现实世界里的事物被 CCD 相机拍摄生成图像，图像和真实物体存在映射关系，若想知道真实物体和图片中物体的映射关系就需要知道像素点实际的大小。计算像素点实际大小有多种方案，如通过相机的外部参数、利用标定板等，为了方便实验设计和实现，选择利用标定板的方案计算像素点的大小。实验背景板选择的 A3 纸，通过角点检测和透视校正并裁剪后，A3 纸和放置于 A3 上的香梨同步变换为相机竖直向下拍摄时所成的像。A3 纸的大小已知，图像的分辨率也已知，分别用 A3 纸的长、宽大小除以图像长像素的个数、宽像素的个数，即可计算出图像像素点所对应的实际大小，计算公式为式(1)。通过图像分割已经得到 A3 纸图像的分辨率，带入式(1)得到像素长的实际大小为 0.886mm，像素宽的实际大小为 0.853mm。S=420Pl297Pw(1)式中，S 表示单个像素所对应的实际面积大小;Pl表示在当前安装高度和角度下 A3 纸图像长的像素个数;Pw表示在当前安装高度和角度下 A3 纸图像宽的像素个数。2.2香梨尺寸参数的估计方法通过彩色图像计算香梨的尺寸参数主要通过计算香梨尺寸像素的个数后与像素对应的实际大小相乘，计算出各尺寸参数的实际大小。如何计算香梨图像尺寸参数的像素点个数是本节的重点。采用最小外接矩形法获取香梨果实的长与最大直径，而最小外接矩形是通过最小面积外接矩形和最小周长外接矩形 2 种方案求得。本文选择最小面积外接矩形法，通过边缘检测找到香梨的边缘区域生成一个外接矩形，记录当前矩形的面积，然后旋转一定的角度，重新生成外接矩形并记录矩形面积，重复上述的步骤旋转一圈后，比较各矩形面积的大小，选择面积最小的矩形作为香梨的最小外接矩形，矩形的长即为香梨的长，矩形的宽为香梨的最大直径。提取的香梨最小外接矩形。2.3香梨长度与直径测算结果分析相机安装在 600mm 处向下拍摄，分别采集了 25个香梨的彩色图像，通过彩色图像估测了香梨的长度，计算香梨长度的估测误差，结果如表 1 所示。运用数值分析对预测值与真实值进行线性回归，如表 1所示为香梨长度的估测结果，通过计算得到 2(拟合度)，其取值范围为 01，值越大说明拟合效果越好。另计算 MSE(均方根误差)值，表示预测值与真62农业工程农业与技术2023，Vol.43，No.08实值之间的偏差，这个值越小说明测量方法的误差越小。估测香梨直径的方法与估测长度的方法一致，真实值与估测结果如表 1 所示。运用最小二乘法对香梨直径的估测值与真实值进行线性回归分析，香梨长度的估测值和真实值相关性很好，2为 0.91。而 MSE为 1.87mm，说明估测值的平均误差不是很大，香梨直径的估测值和真实值相关性较好，2为 0.71，而MSE 为 1.94mm，说明估测值的平均误差很小。香梨长与直径的 MSE 基本一致，说明估测值误差的偏离程度一样，但长度估测值的回归性更好，因为像素点长宽的实际大小接近，但是香梨的长度要明显大于香梨的直径，香梨长度估测值的相对误差要小于香梨直径估测值的相对误差，故香梨长度的估测值与真实值相关性更好。通过表 1 可以计算出，香梨长测量值的平均相对误差为 2.3%，香梨直径测量值的平均相对误差为 3.1%，通过二者的平均误差也反映出香梨长度测量值的回归性要更好。表 1香梨长与直径测量值与真实值对比分析编号长真实值/mm长测量值/mm绝对误差/mm直径真实值/mm直径测量值/mm绝对误差/mm183.382.3164.762.52.2274.1722.158.5562.5381.580.21.362.960.52.4469.571.92.455.757.31.6583.184.21.164.365.91.6672.570.12.458.360.92.6777.5761.561.363.42.1874.976.9259.761.31.6981.782.81.16361.31.71075.7741.760.759.51.21175.176.91.860.362.21.91283.384.316563.31.71374.472.32.158.560.31.81475.177.1260.258.41.81589.988.9167.769.21.51668.565.82.755.357.62.31793.894.8168.971.72.81873.671.22.458.3571.31978.977.41.562.259.62.62076.374.61.760.963.22.32181.179.71.462.863.91.12274.872.8259.361.52.22378.479.91.562.2611.22482.883.91.16462.21.82565.361.43.953.151.91.23香梨体积预估香梨的体积与香梨的长和直径呈正相关，但关系非常复杂，因此将香梨的长和直径作为输入建立香梨体积模型，对香梨的体积进行预估。3.1基于 SV 的香梨体积预估支持向量机(SupportVectorMachine，SVM)是一种经典的分类算法6，7，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本数量较少的情况下，也能获得良好的统计结果的目的。支持向量机最初用来解决二分类问题，即通过一个超平面把数据分为 2 类，使得 2 类样本到该超平面的距离最大。在实际中，经常会遇到线性不可分的样例，这种情况下经常将原始数据映射到高维空间从而实现数据可分，这种方法就是核函数。经过不断的演变，支持向量机不仅局限于解决分类问题，扩展后的支持向量机可以解决回归问题，这就是支持向量回归(SupportVectoregression，SV)8。本文采用 MATLAB 内置“fitrsvm”函数来训练模型，随机选取 100 个香梨作为训练集，测量其真实的长、直径作为输入，测量真实体积作为 labels(标签)，剩下 25 个香梨作为测试集。测试结果如图 2 所示。图 2SV 模型的香梨体积预测结果3.2基于决策树回归模型的香梨体积预估决策树回归模型是一种基于决策树算法的回归模型。其通过构建一棵决策树来对输入数据进行建模和预测。与分类问题中的决策树类似，决策树回归模型也是一种基于树形结构的模型，其中每个叶节点都对应着一个回归函数，用于预测该叶节点上的样本的输出值。在决策树回归模型中，决策树的构建过程与分类722023，Vol.43，No.08农业与技术农业工程问题中的决策树算法类似，但是每个节点的划分准则不再是信息增益或者基尼系数等分类准则，而是针对连续值的回归准则，通常使用均方误差(MSE)或平均绝对误差(MAE)等作为划分准则。具体来说，对于一个给定的节点，选择一个特征和一个阈值，将数据集分为 2 部分，使得每部分数据的输出值的方差尽量小，然后递归地对分裂后的子节点进行同样的处理，直到满足某个停止条件为止，如树的深度达到预设的最大值或者节点包含的样本数达到一个阈值等。本文采用 MATLAB 内置“fitrtree”函数来训练模型，随机选取 100 个香梨作为训练集，测量其真实的长、直径作为输入，测量真实体积作为 labels(标签)，剩下 25 个香梨作为测试集。测试结果如图 3 所示。图 3决策树回归的香梨体积预测结果与基于 SV 模型的香梨体积预估结果进行对比分析可以发现，决策树回归模型的预估体积的 2更大、MSE 更小，说明，基于决策树回归模型的香梨体积预估效果更好。4结论本文主要阐述了通过 GB 图像和机器学习获取香梨的长度、直径和体积的方法，通过实验验证该方法的准确度，并对实验结果进行分析，主要内容如下。原始图像拍摄背景较为复杂，不利于后续图像处理的进行，对原始图像进行兴趣域选取，去除杂乱的背景。对兴趣域内的图像进行透视矫正，并截取 A3 纸内的图像，透视矫正后的 A3 纸及其内部的区域可看作 Kinect 相机竖直向下拍摄得到的，针对透视矫正后的图像利用 Canny 算子边缘检测并填充最大连通域内部分割出香梨果实的图像。对香梨果实图像做最小外接矩形检测，得到的最小外接矩形长即为香梨的长、矩形的宽为香梨的直径，然后根据 A3 纸的大小和透视矫正后图像的分辨率计算单个像素所对应的实际长宽大小，将香梨长度的像素个数和直径的像素个数分别乘上像素实际长宽的大小就计算出香梨的长和直径。实验结果表明，Kinect 安装在 600mm 处时，香梨果实长测量值的 2为 0.91，MSE 为 1.87mm，平均相对误差为 2.3%，香梨果实的直径测量值的 2为 0.71，而 MSE 为1.94mm，平均相对误差为 3.1%。对比分析了基于 SV 模型和决策树回归模型的香梨体积预估方法的效果，采用 SV 模型香梨体积预估值的 2为0.45，MSE 为18.47mL，采用决策树回归模型香梨体积预估值的 2为 0.75，MSE 为12.07mL，故决策树回归模型的香梨体积预估效果优于 SV 模型。参考文献 1康宇 植物叶片几何参数测量研究与应用 D 绵阳:西南科技大学，2016 2 郑力嘉，孙宇瑞，蔡祥 基于激光扫描 3D 图像的植物亏水体态辨识与萎蔫指数比较 J 农业工程学报，2015，31(02):7986 3 翟鹏 基于机器视觉的葡萄表型特征测量 D 上海:上海交通大学，2014 4 申爱敏，霍晓静，王文娣，等 基于机器视觉的核桃仁大小自动分级技术 J 江苏农业科学，2016，44(09):383385 5 郭俊先，李俊伟，胡光辉，等 新疆冰糖心红富士苹果 GB图像多指标分析 J 新疆农业科学，2013，50(03):509517 6 Gao D，Liu Y，Meng J，et al Estimating significant wave heightfrom SA imagery based on an SVM regression model J ActaOceanologica Sinica，2018，37:1031107 Pravallike P，Prasad K S SVM classification for fake biometric de-tection using image quality assessment:Application to iris，face andpalm print C 2016 international conference on inventive compu-tation technologies(ICICT)，2016:16 8 汤强，谢明中，罗元盛 基于 SV 的用电负荷特征三维回归模型 J 计算机工程，2017，43(09):300303，309(责任编辑常佳琪)82