基于Kinect相机的香梨重量预测方法.pdf

基金项目：国 家 自 然 科 学 基 金 地 区 科 学 基 金 项 目（编 号：）；新疆生产建设兵团财政科技计划项目（编号：）作者简介：张润芝，女，塔里木大学在读硕士研究生。通信作者：吴刚（），男，塔里木大学副教授，硕士。：收稿日期：改回日期：犇 犗 犐：犼 狊 狆 犼 狓 文章编号 （）基于 相机的香梨重量预测方法 张润芝犣犎犃犖犌犚 狌 狀 狕 犺 犻张晓犣犎犃犖犌犡 犻 犪 狅吴刚犠犝犌 犪 狀 犵（塔里木大学信息工程学院，新疆 阿拉尔 ）（犆 狅 犾 犾 犲 犵 犲狅 犳犐 狀 犳 狅 狉 犿 犪 狋 犻 狅 狀犈 狀 犵 犻 狀 犲 犲 狉 犻 狀 犵，犜 犪 狉 犻 犿犝 狀 犻 狏 犲 狉 狊 犻 狋 狔，犃 犾 犪 狉，犡 犻 狀 犼 犻 犪 狀 犵 ，犆 犺 犻 狀 犪）摘要：目的：快速获取香梨重量。方法：通过 相机采集香梨的 图像并将其转化为点云数据；经点云预处理及点云插值后生成香梨模型；再利用微元法思想计算香梨模型的体尺参数，通过实验验证方法的准确性并修正误差；最后通过香梨体积预测香梨重量。结果：误差修正后体积的平均相对误差为；重量的平均相对误差为。结论：在距地面 处采集图像的前提下，香梨各体尺参数测量值的平均相对误差均不超过，使用 相机测量香梨体尺参数具有可行性。关 键 词：；三 维 点 云；点 云 预 处 理；香 梨 建模；犃 犫 狊 狋 狉 犪 犮 狋：犗 犫 犼 犲 犮 狋 犻 狏 犲：犕 犲 狋 犺 狅 犱 狊：，犚 犲 狊 狌 犾 狋 狊：，犆 狅 狀 犮 犾 狌 狊 犻 狅 狀：犓 犲 狔 狑 狅 狉 犱 狊：；随着新疆库尔勒香梨知名度的提高，产业不断扩大，对香梨 采 后 包 装、深 加 工 的 技 术 与 设 备 提 出 了 新 要求。香梨包装销售与深加工中的一个重要环节是香梨分级，该环节可使香梨分级定价销售，提高香梨的经济价值。重量是库尔勒香梨采后分级的重要标准之一，众多学者研究了不同结构与方法的机械称重式分级机，降低了人工成本、提高了分级效率。阿克苏红旗坡的农场也引进了果品自动称重分级流水线，但因称重时频繁碰撞果损率过高。因果蔬的体尺参数与其重量有一定的关系，国外有研究 通过苹果、猕猴桃、杏子、樱桃等果实的体尺参数建模来估计其重量。国内有研究，通过机器视觉获取香梨、苹果的几何外形特征预测果实的重量。通过机器视觉非接触式测量果实的体尺参数预测果实重量并分级可有效降低机械分级果损率过高的问题，但二维图片只能提供果实的二维信息，构建果实重量预测模型的精度不高。陈炳舟等 运用超声波传感器阵列及双目摄像头获取被测物点云数据并拟合表面模型计算体尺参数。相机也可获取被测物点云数据，常用的 相机有微软推出的 系列；通过采集被测物的彩色和深度图像生成点云数据，其深度图像通过 （渡越时间）法获取，不易受外界环境光变化影响，被广泛应用于三维重建领域。研究拟选取 相机搭建香梨图像采集装置；通过 图像和深度图提取香梨的点云，对香梨点云进行预处理，去除噪声、空间坐标校正、分离香梨点云与背景点云；最后通过插值法计算香梨表面模型，计算其长、宽、高与体积并通过体积预测香梨重量，以期为香梨分级装置的开发提供依据。测量原理香梨三维点云的预处理 相机拍摄香梨经 图像与深度图像对齐后生成原始三维点云，包含冗余背景点和噪声点，且点云 第 卷第期 总第 期 年月可视化后呈倒立倾斜的像，故需对原始点云进行滤波、坐标变换、背景去除等预处理工作，得到正立竖直香梨点云。由图可知，预处理不但可去除大量冗余和错误点云，而且方便后续计算体尺参数。图点云预处理流程图 点云去噪 拍摄的图像有一定的噪声，会在香梨点云表面产生少量的离群点。利用 算法找到每个点犘犻（狓犻，狔犻，狕犻）（犻，狀）的犽个临近点犘犼（狓犼，狔犼，狕犼）（犼，犽），计算每个点犘犻到其犽个临近点的平均距离犾犻，并计算全局平均距离犾和标准差。若犾犻犾，则该点为离群点，将其去除。其中犽，参 数 的 取 值 取 决 于 点 云 的 密 度 和 数 量。根 据 相机参数，犽取，犪取。犾犻犽犽犼（狓犻狓犼）（狔犻狔犼）（狕犻狕犼）槡，犻，狀，（）犾狀犻狀犾犻，（）狀狀犻犾犻犾（）槡。（）点云的坐标变换与校正初始点云数据以 相机镜头为坐标原点计算坐标，试验时 相机不是绝对平行于地面，故被测物在原始坐标系下的点云是倒立倾斜的。为方便后续计算被测物体尺参数，需将被测物点云竖直，故提出一种坐标变换的方法。首先，用 距地面的高度减去点云的犣轴坐标值，得到正立倾斜的点云。然后，使用随机抽样一致性（）算法拟合平面，找出地面的法向量狏、犣轴正方向向量狏、垂直于两向量的向量狌，两向量的夹角即可计算出表示两向量间旋转关系的四元数狇，最后将四元数狇转换为旋转矩阵犚。将所有点云坐标乘以旋转矩阵犚算出新的点云坐标，即变换为正立竖直点云。狏犻狏犻狏犻（狓犻，狔犻，狕犻），犻，（）狌狌狌狏狏狏狏（狔狕狔狕，狕狓狓狕，狓狔狔狓）（狔狕狔狕）（狕狓狓狕）（狓狔狔狓）槡（狌狓，狌狔，狌狕），（）（狏狏狏狏），（）狇 （），（）狀狓，（）狀狔，（）狀狕狇，狇，狇，狇，（）犚狇狇（狇狇狇狇）（狇狇狇狇）（狇狇狇狇）狇狇（狇狇狇狇）（狇狇狇狇）（狇狇狇狇）狇狇熿燀燄燅。（）运用 算法再次拟合平面，找出狓、狔时狕的坐标值狕，将每一个点云的狕坐标值减去狕，使点云背景平面与狕的平面重合，完成坐标校正。背景滤除 算法拟合平面时，拟合平面点云作为内点，除拟合平面外的点作为外点。处理后，点云中只包含背景平面和香梨表面，故提取外点即可得到仅包含香梨的点云。构建模型经点云预处理后，输出香梨点云如图所示，需将其插值构成香梨表面模型后计算其体尺参数。一部分香梨（宿萼果）尾端会有突起，针对突变点云，在插值时选用基于网格的自然邻点插值法，可更好地拟合真实香梨表面，使后续计算更精准。具体过程：首先检测全部香梨点云，找出犡轴、犢轴的最大值与最小值，分别将犡轴、犢轴最大值与最小值间的距离等分为狀份，构成一个狀狀的网格；然后用狕犳（狓，狔）形式的曲面与香梨点云数据拟合，拟合曲面始终经过香梨点云，在网格点（狓犻，狔犼）进行曲面插值计算出狕犽；最后通过网格点构建网格图，网格图为三维曲面，网格曲面无颜色，网格边有颜色其颜色因狕犻值而定。狓犻 狓犻 狓 狓狀，犻，狀，（）狔犼 狔犼 狔 狔狀，犼，狀，（）狕犽犳（狓犻，狔犼），犽，狀。（）食品装备与智能制造 总第 期 年月图香梨表面模型构建图 体尺参数计算将香梨模型最大横截面矩形的长记为香梨的长，最大横截面矩 形的 宽 记 为 香 梨 的 宽，香 梨 模 型 的 最 高 值 记为高。通过自然邻点插值后，香梨由狀个六面体构成，所有六面体体积之和即为香梨体积犞。随着网格数目逐渐增多，六面体个数增加，体积计算越精确，但网格数越多，插值算法的计算速度越慢。兼顾精度与速度，狀取 。体积计算示意图如图所示，为方便示意图展示体积计算原理，示意图中狀取。六面体为香梨网格模型中任取的最小网格单位，将其近似看作长方体，故香梨体积为所有长方体的体积之和。为方便编写体积计算算法，将每个网格点的犣坐标值视为长方体的高，长方体的底面积犛与香梨点云犡轴、犢轴的最大值和最小值与狀有关，若狀确定，则底面积确定且唯一，体积的计算式可表示为：犛（狓 狓狀）（狔 狔狀），（）犞狀犽犛狕犽狀犽狕犽。（）香梨重量预测同品种的成熟香梨含水量大致相同，可以通过测量香梨的体积犞与重量犕计算出香梨密度。随机选取 个香梨作为样本，通过高精度电子秤测量其重量，通过排水法测量其体积，计算得平均密度为 ，标准差为 ，说明样本香梨密度偏差不大，可以用香梨样本平均密度 表示香梨密度。按式（）预图体积计算示意图 测香梨重量。犕犞。（）试验平台搭建试验样品于 年 月日购买 个库尔勒香梨，采用排水法测量香梨的体积，使用游标卡尺测量香梨的长、宽、高，并使用电子秤测量香梨重量。试验装置利用 相机设计试验平台，其深度相机工作在 （窄视场）非装箱模式下，分辨率为 ，工作区间为 ；彩色相机分辨率为 。，张润芝等：基于 相机的香梨重量预测方法采 用 锐 能 牌 数 显 游 标 卡 尺（精 度 ，误 差）；量程为 的量筒（精度为 ）；记号笔；精度为的电子秤。试验方案使用 驱动 相机采集图像，相机由支架固定竖直朝下，相机镜头距地面 。为减少干扰，在镜头下方放置一半径为 的白色圆形底板，采集图像时，将香梨样本卧倒放置于底板内，然后激活上位机采集图像，将生成的点云保存为 格式。采用自主编写的上位机程序处理点云数据，生成香梨表面模型，最终计算出香梨的体尺参数及重量。结果与分析参数计算与误差分析采用排水法测量香梨体积，使用游标卡尺测量香梨的长、宽与高，每个样本重复测量次取平均值，将排水法及游标卡尺测得的值看作真实值。采用 分别对 个香梨样本拍照，经预处理及插值建模后计算其体尺参数（见表）。由表可知，长、宽、高、体积测量值与真实值的误差较大，无法用于分级。长、宽测量误差分析是因为 （渡越时间）获取深度图技术本身边缘精度低，如图所示，获取的香梨边缘点云坐标不准确，与真实香梨相差较大，故点云预处理时将边缘点云滤除，因此长、宽的测量值偏小；高度误差产生的原因是 不是绝对垂直于地面，高的测量值是果实表面最高点在地面的投影到 的距离犣减去果实表面最高点到 的距离犣，而果实高的真实值是果实表面最高点到地面的投影距离，故高的测量值总是小于真实值；香梨体积是由香梨点云插值建模得到的，香梨点云的长、宽、高均偏小，因此体积也偏小。其中，长、宽、高的平均误差分别为 ，体积的平均误差为 。香梨长、宽、高、体 积检 测 结 果 的 精 度 为 长宽高体积，是因为香梨果实的长比宽大，所选 个香梨表香梨体尺参数测量值与真实值对比 编号长真实值 测量值 绝对误差宽真实值 测量值 绝对误差高真实值 测量值 绝对误差体积 真实值 测量值 绝对误差 食品装备与智能制造 总第 期 年月图香梨边缘点云滤除图 果实长的平均值为，宽的平均值为。香梨宽度在梯度变化上比长度变化明显，因此在获取香梨果实 图像时，宽度方向上信息缺失比长度方向上多。虽然长、宽检测原理相同，但是宽度的检测结果相对较差。体积估算值误差包含了长、宽、高的误差，故体积检测的误差最大。长、宽、高、体积的测量误差都具有单向性，系统误差起主导作用，因此通过误差修正，减少系统误差，使测量值更精确。误差修正通过表分析得各测量值的平均误差，将长、宽、体积的平均误差作为各自误差的修正量；在预处理阶段得到 镜头平面与地面的法向量夹角，用测量值 （）对高的测量值进行修正。选择 个新的香梨样本采用经误差修正的方法测量，记录测量值并与真实值对比，结果见表。表误差补偿后香梨体尺参数对比分析 编号长真实值 测量值 绝对误差宽真实值 测量值 绝对误差高真实值 测量值 绝对误差体积 真实值 测量值 绝对误差 ，张润芝等：基于 相机的香梨重量预测方法由表可知，经补偿后，个香梨样本体尺参数测量值误差 减 小，长、宽、高、体 积 的 平 均 相 对 误 差 分 别 为，。经误差修正后，各参数的测量误差显著降低，满足实际生产需要。香梨重量的预测选取 个新的香梨样本，采用经过误差修正后的体尺参数测量方法在相同条件下测量其体积，再将体积代入式（）计算出重量作为预测值；最后用电子秤测量其重量作为真实值，试验数据见表。表香梨重量预测值与真实值对比 编号实际重量预测重量绝对误差 由表可知，样本重量绝对误差最大为，最小为，最大相对误差为，平均相对误差为。结论搭建了简易试验平台，在距地面 处对 个香梨样本拍照，进行体尺参数测量试验，通过点云预处理获得香梨表面的竖直点云；通过插值算法从离散点云中找到香梨曲面构建出香梨模型；使用微元法的思想通过香梨模型计算出香梨体积，计算香梨各体尺参数的测量误差；通过分析测量误差找出误差补偿值后重新选取 个香梨样本，重复上述步骤，计算经过误差补偿后的各香梨体尺参数并计算测量误差，经分析得出，在距地面 处采集图像的前提下，香梨各体尺参数测量值的平均相对误差均不超过，验证了 相机测量体尺参数方法的可行性。选取 个新的香梨样本进行香梨重量预测试验，结果显示香梨重量的平均相对误差为。后续可进行大量实际测量构建从体尺参数到重量的深度神经网 络 模 型，与 该 方 法 进 行 数 据 融 合，进 一 步 降 低误差。参考文献?张峰?蒋志琴?陈小光?等?库尔勒香梨产业发展因素分析及对策建议?中国农学通报?（?）?（?）?马建江?张萍?薛根生?新疆巴州库尔勒香梨发展分析与建议?北方园艺?（?）?（?）?何天明?黎秀丽?吴玉霞?等?库尔勒香梨在疆内市场的商品分级与价格形成调查?新疆农业科学?（?）?（?）?陈於学?宿磊?杨丽?等?光学玻璃块滚筒式自动称重分拣机?仪表技术与传感器?（?）?（?）?李光梅?魏新华?李法德?等?水果综合分选机称重模块的设计与实现?农业工程学报?（?）?（?）?孙凯?闫学慧?朱荣胜?圆形水果自动分选和贴标签机的设计与应用?食品与机械?（?）?（?）?赵启明?型小杂果分级技术装备的开发?中国农机化学报?（?）?（?）?王新亭?电子称重式水果分选机微机测控系统的研究?北京?中国农业大学?王虎挺?吴杰?胡蓉?等?基于几何特性参数的库尔勒香梨质量预测的研究?石河子大学学报（自然科学版）?（?）?（?）?（?）?（?）?（?）?（下转第 页）食品装备与智能制造 总第 期 年月?（?）?潘曦?李冉?魏敏?等?萤火虫优化支持向量机参数的近红外光谱技术鉴别卷烟牌号?食品与机械?（?）?（?）?张保霞?基于主成分分析和改进支持向量机的猪肉品质识别?食品与机械?（?）?（?）?谭卢敏?冯新刚?基于机器学习算法的缺损米粉块在线快速检测?食品与机械?（?）?（?）?王俊平?徐刚?机器视觉和电子鼻融合的番茄成熟度检测方法?食品与机械?（?）?（?）?楚松峰?赵凤霞?方双?等?基于?的红枣缺陷识别方法?食品与机械?（?）?（?）?周开伟?钱雪忠?周世兵?一种改进的多分类孪生支持向量机?计算机应用与软件?（?）?（?）?张晓鹏?张兴忠?基于高斯核函数的支持向量机光伏故障诊断研究?可再生能源?（?）?（?）?（?）?粟傈?杨帆?王向禹?等?基于事件相机的机器人感知与控制综述?自动化学报?（?）?（?）?（?）?（上接第 页）?（?）?（?）?（?）?（?）?刘忠超?范灵燕?盖晓华?基于机器视觉的苹果重量检测研究?江苏农业科学?（?）?（?）?陈炳舟?基于多传感器信息融合的果实体尺参数测量方法?阿拉尔?塔里木大学?陈炳舟?孙万林?陈立平?基于超声波传感器阵列的空间感知方法?传感器与微系统?（?）?（?）?郑立华?麦春艳?廖崴?等?基于?相机的苹果树三维点云配准?农业机械学报?（?）?（?）?食品装备与智能制造 总第 期 年月