基于图像玉米茎秆位置标记方法的研究.pdf

2023年第9 期农机使用与维修5基于图像玉米茎秆位置标记方法的研究廖思洋？,谭峰（1.黑龙江八一农垦大学，黑龙江大庆16 30 0 0;2.黑龙江农垦职业学院，哈尔滨150 0 0 0）摘要：为实现田间作业过程中对玉米茎秆的定位，提出了一种基于图像玉米茎秆位置的标记方法。以35叶期的玉米秧苗为观测对象，利用相机获取玉米秧苗的彩色图像。首先，根据玉米图像样本进行灰度化、加权滤波、直方图均衡进行预处理；对图像进行Ostu阈值分割，提取玉米秧苗区域信息；通过形态学处理去除噪点，得到最大连通域作为玉米秧苗区域。然后通过投影法，对该区域进行列向和横向向量求和，得到的最大值标记为玉米茎秆根部近似位置。对10 0 株玉米苗图像进行测试，与图像手动标注位置进行对比，横向误差平均值为7.55，标准差平均值为1.0 4%，列向误差平均值10.8 5，标准差平均值为2.2 6%，实际误差平均值为12.33。该研究可为需要保护玉米秧苗的田间作业提供参考。关键词：玉米茎秆；图像采集；图像处理；投影法；位置标记中图分类号：TP391.41(1.Heilongjiang Bayi Agricultural University,Daqing 163000,China;2.Heilongjiang Agricultural Reclamation Voca-tional College,Harbin 150000,China)Abstract:In order to locate maize stalks in field operations,an image-based maize stalk location labeling method wasproposed.The camera was used to obtain the color images of corn seedlings at the 3 5 leaf stage.Firstly,the gray-scale,weighted filtering and histogram equalization of maize image samples were preprocessed.The image was segmen-ted by Ostu threshold to extract seedling region information.The noise was removed by morphological processing,andthe maximum connected domain was obtained as the maize seedling region.Then,through the projection method,thesum of column direction and transverse vector of this region is carried out,and the maximum value obtained is marked asthe approximate position of the root of the corn stem.The images of 100 maize seedlings were tested and compared withmanually marked positions in the images.The mean value of transverse error was 7.55,the mean value of standard devi-ation was 1.04%,the mean value of column error was 10.85,the mean value of standard deviation was 2.26%,andthe mean value of actual error was 12.33.This study can provide reference for the field operation that needs to protectmaize seedlings.Keywords:maize stalk;image acquisition;image processing;projection method;position marker0引言根据国家统计局2 0 2 2 年12 月12 日发布数据，2022年全国粮食总产量达到6 8 6 53万t，其中玉米产量2 7 7 2 0.3万t，占全国粮食总产量比例为40.4%，在小麦、大豆、玉米、水稻等主要粮食作物中,玉米产量最高，稳定玉米生产可以为稳定国家粮食安全做出贡献1-2。随着信息技术发展，为提高玉米产量，精准农业被用于玉米的农业生产环基金项目：黑龙江省重点研发计划（GZ2022020）；黑龙江省高等教育教学改革项目（SJGY20210622）；黑龙江八一农垦大学专业学位研究生课程教学案例库建设项目（ALK202106)作者简介：廖思洋（19 9 1一），男，湖南长沙人，硕士，助理工程师，研究方向为农业信息化。文献标识码：AStudy on Image-based Maize Stalk Position Labeling MethodLIAO Siyang,TAN Fengdoi:10.14031/ki.njwx.2023.09.002节,与传统生产方式相比，精准农业在节约资源的同时，可以利用计算机视觉结合机器学习对玉米秧苗茎秆位置进行标记，有利于生产作业过程中对玉米秧苗的保护,实现高效和安全生产3-4。玉米种植过程中存在诸多机械作业，用于播种、除草和施肥5-6,作业过程中要防止对玉米茎秆造成损伤，通过精准农业对秧苗精准定位保护，可有效提升产量。计算机视觉是模仿人眼对事物的观察识别，让计算机可以精准获取目标事物的特征数据，结合人工智能理论知识,实现图像识别技术7。随着深度学习和机器学习的运用，可进一步提高图像识别的准确度。深度学习可通过手动标记目标特征数据来进行训练模型，在玉米种植过程中，利用深度学习技术可以分割作物与环境背景，但需要建立大量数据集样本、花费时间手动标记特征位置8-9。机6器学习是研究怎样使用计算机实现人类学习活动，在计算机视觉的基础上，通过选择数据集并建立模型进行训练，提取目标特征数据，通过使用不同的训练数据集对比,改善模型预测的准确性10-1。工业领域已经广泛采用基于计算机视觉识别的人工智能图像处理技术，在农作物种植和农产品加工与检测领域也开始应用12-13 综上所述，利用图像处理技术自动化标记目标作物,实现视觉避障和精准作业14-15，由于玉米秧苗茎秆和叶片交叠较少，以玉米秧苗茎秆为检测对象，通过对茎秆部分的特征提取，获取玉米茎秆的位置信息并进行图像标记，可为保护玉米秧苗的田间作业提供参考。1材料与方法1.1试验设备和材料采用CMOS相机对田间玉米秧苗图像进行采集，参考玉米种植过程中除草、施肥等机械作业时间,选择4 6 叶期玉米秧苗作为观测对象16-1。O为保证拍摄图像内包含一株秧苗,拍摄角度约6 0，相机高度为高于玉米茎秆底部约6 0 cm。种植玉米品种为龙高L2，株间距约30 cm，行间距约7 0 cm。为保证工况接近，在图像采集过程中，垒间搭建满足高度要求的脚架辅助拍摄18。为便于验证准确率，通过软件将采集图像尺寸统一处理为7 2 0 48 0（单位：像素），分别识别10 0 株玉米茎秆的特征数据并标记位置信息，从中选取2 0 株标记结果进行效果评估。1.2图像处理与识别对采集到的样本图像进行处理，实现对玉米秧苗的识别。总体流程包括图像预处理、图像二值化、形态学处理构建连通域等，确定最大连通域为玉米秧苗区域。1.2.1图像预处理由于不同植株生长角度不同，自然光照射使部分样本图像局部曝光过大，原始图像会掺杂噪声信息，对图像进行高斯滤波去噪。为简化数据处理过程,利用加权平均值法对彩色图像进行灰度化处理,再通过直方图均衡进一步提高图像对比度19 1.2.2图像二值化本文选用最大类间方差法（Otsuthreshold meth-od,OTSU)对图像进行二值化处理,实现玉米苗与农机使用与维修土地背景的图像分割。设样本图像的灰度值有k级，且灰度值为i的像素有n；个,则该幅图像像素总个数为N,灰度值是i的概率为P，对图像进行分割时，选用T作为阈值,可以把图像中的玉米秧苗与背景土地分割开来,其中秧苗区域的灰度值范围在1，T,背景区域的灰度值在（T,则T为阈值的图像灰度均值为(T)=2ip:玉米秧苗区域所占比例为T(T)=Zpi玉米秧苗区域灰度平均值为TMo(T)=ip;Wo(T)土地背景区域所占比例为Wi(T)=1-Wo(T)=土地背景区域灰度平均值为ip;M(T)=0iT,(T)图像灰度平均值为=Wo(T)o(T)+w,(T)i(T)则图像中玉米秧苗与土地背景两者之间方差为8(T)=Wo(T)(o(T)-)2Wo(T)(o(T)-u)2则值T的取值为T=(T)=LH(T)-A(T)?W(T)1-wo(T)其中，（T)是玉米秧苗与土地背景的方差函数,T为灰度值从0 到最大值遍历时，使（T）取得最大值的阈值。1.2.3形态学处理构建连通域经过预处理和图像分割，仍带有一些难以去除的噪声信息，这些噪声经过二值化处理，最终表现形式有小斑点和线条，所以应用形态学对二值化图像进一步处理,形态学处理算法大体上有四种2 0。O膨胀运算,将目标区域扩大，可以用来对分割后的空洞较大的图像进行填充，表达式如下AB=(x|(B),n A l+腐蚀运算，图像内收，消除边界点，去除无价值2023年第9 期T(1)(2)(T)(3)Wo(T)(4)i=T+1-(T)W;(T)(5)(6)+(7)(8)(9)2023年第9 期目标点，表达式如下AOB=(x|(B)A开运算，先腐蚀再膨胀的运算，表达式如下A B=(AOB)OB闭运算，先膨胀再腐蚀的运算，表达式如下A B=(AB)OB经形态学处理后，对线条和空洞进行有效填充，对玉米秧苗相近目标的区域进行连接，构建连通域，以最大连通域作为玉米苗区域。1.3玉米茎秆位置标记经过灰度化、去噪、图像二值化处理和形态学处理后，得到玉米秧苗和土地背景分割明显的图像，该文选用全局投影法对玉米茎秆根部的像素点坐标进行位置标记。假设一个mn的图像f(,y），全局投影法是将图像分别在横向和列向进行求和,得到X轴和Y轴的和向量g（）和g（y）,运作原理如图1 所示。13337农机使用与维修2)对玉米秧苗图像进行列向投影,投影的一组(10)数据从左到右依次进行遍历，找到最大值对应的点，就是玉米茎秆根部的横坐标1。(11)3)对步骤2 中求得坐标X所对应列的像素点，从上到下一次进行遍历，找到最后数值为最小值的(12)点,这个点对应的就是玉米茎秆根部的纵坐标y1。最后由玉米茎秆根部坐标（xi,yi）实现茎秆位置标记。2结果与分析通过MATLAB编程实现上述玉米秧苗图像处理方法,并对玉米茎秆位置进行标记，抽取2 0 株作为样本进行人工标记，与系统标记结果进行对比。软件环境为MATLABR2016a。2.1图图像处理与识别结果对图像进行加载，进行高斯滤波后可较好剔除曝光噪声的干扰，经灰度化处理利于后续进一步识别处理。灰度化处理结果如图2 所示。g(g)070向轴投影211212一71一112一21210g()其中向量g（）、g（y）可以表示为g(x)=f(x,y.)i=1g(y)=Zf(x;,y)i=1其中x取值为1,n,y取值为1,m。具体步骤如下：1)在列向进行投影，用G来表示投影结果,G所包含的数值格式就是这幅图像的横向坐标G(x)=Zf(x,yi)17i=1111向轴投影图1投影法原理图m图2 灰度化处理结果(13)应用Otsu算法计算阈值，进行图像二值化处理,经观察,茎秆根部信息进行了完整保留，且茎秆(14)根部图像清晰，最大连通域较为明显。二值化处理结果如图3所示。对玉米秧苗二值化图像进行形态学处理，发现经过处理的茎秆部分信息更加突出，且背景区域小斑点和小区块等噪声基本完全消除。但玉米茎秆根部与土壤相接部分存在一定的信息损失，经观察(15)确认,茎秆根部靠近土壤部分颜色与土壤接近，在8进行二值化处理后背景信息被分割。形态学处理后结果如图4所示。2.2玉米茎秆位置标记结果2.2.1标记结果田间试验均为晴天,图像采集角度约为6 0,列农机使用与维修向坐标向量图像位置与实际位置向量相差约30，已知样本图像尺寸为7 2 0 48 0（单位：像素），可计算系统标记位置与手动标记位置的实际位置误差。随机选取2 0 组样本进行玉米茎秆根部系统标记,与手动标记坐标对比，如表1所示。2023年第9 期图4形态学处理结果表1位置标记数据对比统计表图3Otsu阅值分割处理结果样本序号系统标记坐标1(332,459)2(341,442)3(343,460)4(312,402)5(299,435)6(357,437)7(365,445)8(345,458)9(341,412)10(343,451)11(333,425)12(302,432)13(322,447)14(353,438)15(355,441)16(337,446)17(342,449)18(353,427)19(350,427)20(340,430)手动标记坐标(341,466)(333,454)(350,475)(318,415)(292,450)(365,445)(360,456)(356,469)(349,425)(350,463)(340,430)(293,439)(328,450)(363,452)(346,451)(347,459)(346,464)(358,443)(357,435)(332,440)横向误差标准差列向误差标准差实际误差91.25%-81.11%70.97%60.83%-70.97%81.11%-50.69%111.53%81.11%70.97%70.97%-91.25%60.83%101.39%-91.25%101.39%40.56%50.69%70.97%-81.11%71215131481111131257314101315168101.46%2.50%3.13%2.71%2.92%1.67%2.29%2.29%2.71%2.50%1.04%1.46%0.63%2.92%2.08%2.71%3.13%3.33%1.67%2.08%10.8513.1114.7612.7614.0110.5810.7614.5513.8112.538.2310.856.5415.7112.4815.0613.5914.739.8511.792023年第9 期对2 0 组数据进行统计分析,得到横向误差平均值为7.55，标准差平均值为1.0 5%，列向误差平均值10.8 5，标准差平均值为2.2 6%，实际误差平均值为12.33。由此可知,通过全局投影法对玉米茎秆根部进行位置标记后，与实际茎秆根部坐标存在较小偏差，可为通过玉米茎秆定位的田间作业提供参考。2.2.2误差分析采用传统图像处理技术对玉米秧苗进行识别，位置标记是由二值化处理后的像素数据进行投影求和，二值化结果的优劣直接影响最终标记坐标准确率,该研究二值化处理后，茎秆根部存在信息缺损,其主要原因在于田间采集图像均为晴天，光照产生的叶片阴影会影响灰度化处理的茎秆图像效果，使得二值化处理时，与土壤颜色接近部分分割去掉,导致图像信息丢失。所以减少光照阴影影响或采取更好的图像分割算法，识别效果会更好。3结论针对田间作业过程中对玉米茎秆位置的需求，提出了一种基于图像处理技术的玉米茎秆位置标记方法。通过对彩色图像进行去噪、灰度化、增强后去除阴影、曝光等噪声信息，再采用二值化处理获取玉米秧苗植株所在区域，利用全局投影法得到玉米茎秆根部的图像坐标，实现茎秆位置标记。试验结果表明，该方法误差较小，可为需要采用玉米茎秆定位的田间作业提供参考。部分误差由于二值化处理后出现图像信息丢失，之后对玉米秧苗区域进行更精确识别定位，效果会更好。参考文献：1 United States Department of Agriculture.Sales U S C O,Competition I.Grain:World Markets and TradeR,2018.2Shanji Z,Ming L,Qi G,et al.Analysis and Future Direc-tion of Maizeproduction in Heilongjiang Province J.Chi-nese Journal of Agricultural Resources and Regional Plan-ning,2018,39(4):14-21.3Tyagi A C.Towards a Second Green Revolution J.Irri-gation and Drainage,2016,4(65):388-389.4Garcia-Santillan I D,Montalvo M,Guerrero J M,et al.Automatic detection of curved and straight crop rows fromimages in maize fields J.Biosystems Engineering,2017,156:61-79.农机使用与维修 5 Xiaofu W,Yueli H,Lichao W,et al.Effective Site IndexRange and Target Fertilization Efficiency of Forestry Ferti-lization J.Journal of Central South Forestry University,1997(1):1-6.6 1Laursen M S,J?rgensen R N,Midtiby H S,et al.Di-cotyledon weed quantification algorithm for selective her-bicide application in maize crops J.Sensors,2016,16(11):1848.7贾云得.机器视觉M.北京：科学出版社,2 0 0 0.8Oberti R,Marchi M,Tirelli P,et al.Selective sprayingof grapevines for disease control using a modular agricul-tural robot J.Biosystems engineering,2016（146):203-215.9Wen Z,Ying Y I,Libai H.Influences of Different Culti-vation Patterns Under Ridge Plowing on Maize YieldEffect in Western Dryable Area of Liaoning Province J.Maize Science,2007,15(5):96-99+103.10 Gianessi L P,Reigner N P.The value of herbicides inUS crop productionJ.Weed Technology,2007,21(2):559-566.11 Partel V,Kakarla S C,Ampatzidis Y.Development andevaluation of a low-cost and smart technology for preci-sion weed management utilizing artificial intelligence J.Computers and electronics in agriculture,2019（157):339-350.12 陈建能，张国凤.计算机视觉技术在农业中的应用及展望J.甘肃农业大学学报，2 0 0 3,38（2）：2 48 2 53.13应义斌，饶秀勤.机器视觉技术在农产品品质自动识别中的应用J.农业工程学报,2 0 0 0,16(1)：4-17.14应义斌，傅宾忠，蒋亦元，等.机器视觉技术在农业生产自动化中的应用J.农业工程学报,19 9 9,15（3)：199 203.15】应义斌，章文英，蒋亦元，等.机器视觉技术在农产品收货和加工自动化中的应用J.农业工程学报，2000,31(3):112-115.16 刘艳红.田间杂草识别软件系统的研究J农业网络信息,2 0 15(5)：31-33+48.17】龙满生,何东健.玉米苗期杂草的计算机识别技术研究J.农业工程学报,2 0 0 7(7)：139-144.18 沈旭.除草机器人农田行内作物/杂草识别研究D.南京：南京林业大学,2 0 11.19 颜秉忠.机器视觉技术在玉米苗期杂草识别中的应用J.农机化研究,2 0 18,40(3:2 12-2 16.20徐艳蕾，贾洪雷，包佳林.基于模糊顺序形态学的植物叶片脉络边缘提取J.农业工程学报,2 0 15,31（13)：193-198.(02)9