基于特征融合的果园非结构化道路识别方法.pdf

lon2023年月第54卷第7 期农报学业机械doi:10.6041/j.issn.1000-1298.2023.07.004基于特征融合的果园非结构化道路识别方法张彦斐封子晗！张嘉恒？宫金良？兰玉彬1（1.山东理工大学农业工程与食品科学学院，淄博2 550 0 0；2.山东理工大学机械工程学院，淄博2 550 0 0）摘要：针对果园道路无明显边界且道路边缘存在阴影、土壤和沙石干扰等问题，提出一种基于特征融合的果园非结构化道路识别方法。通过相机标定获取畸变参数对采集到的图像进行畸变矫正，并提出一种基于滤波与梯度统计相结合的动态感兴趣区域（ROI）提取方法对HSV颜色空间S分量进行ROI选取，采用最大值法将颜色特征与S分量多方向纹理特征掩膜相融合并进行二值化与降噪处理。根据道路边缘突变特征寻找特征点，并提出一种基于距离与位置双重约束的两级伪特征点剔除方法。为更好贴合非结构化道路不规则边缘，引入分段三次样条插值法拟合道路边缘，以此实现道路识别。试验结果表明，在晴天、阴天、顺光、逆光、冬季晴天和雨雪天气6 种工况条件下，S分量、纹理图像和融合图像的平均纵向偏差均值分别为2.43、39.7 1、1.36 像素，平均偏差率均值分别为0.99%、18.02%和0.54%，相较于S分量与纹理图像而言，使用本文方法构建的融合图像其平均纵向偏差与平均偏差率均得到有效减少。最小二乘法、随机采样一致性法（RANSAC）与分段三次样条插值法拟合边缘的平均偏差均值分别为2.6 4、3.16、0.6 6 像素，平均偏差率均值分别为1.0 2%、1.2 1%和0.2 6%，偏差率平均标准差分别为0.2 3%、0.31%与0.0 9%，其中分段三次样条插值法的平均偏差均值、平均偏差率均值与偏差率平均标准差均最小，表明本文拟合方法其拟合精度更高且具有更好的稳定性。6 种工况条件下，本文算法单顿图像平均处理时间为8 9.9ms，满足农业机器人作业过程中的实时性要求。本文方法可为农业机器人进行果园复杂环境非结构化道路识别提供参考。关键词：农业机器人；非结构化道路识别；机器视觉；特征融合；三次样条插值法中图分类号：S2；T P2 42文献标识码：A文章编号：10 0 0-12 98（2 0 2 3)0 7-0 0 35-10OSID：Recognition Method of Orchard Unstructured Road Based on Feature FusFENG ZihanZHANG JiahengGONG Jinliang22ZHANG YanfeilLAN Yubin(1.School of Agricultural Engineering and Food Science,Shandong University of Technology,Zibo 255000,China2.School of Mechanical Engineering,Shandong University of Technology,Zibo 255000,China)Abstract:Aiming at the problems that orchard roads have no obvious boundaries and there are shadows,soil and sand interference at the edges of the road,a recognition method of orchard unstructured roadsbased on feature fusion was proposed.The distortion parameters were obtained through camera calibrationto correct the distortion of the acquired image,and a dynamic region of interest(ROI)extraction methodbased on the combination of filtering and gradient statistics was proposed to select the ROI of the Scomponent of the HSV color space.The maximum value method was used to merge the color features withthe S component mask for multidirectional texture features for binarization and noise reduction.Thefeature points were found according to the abrupt features of road edges,and a two-level pseudo featurepoints elimination method based on the dual constraints of distance and position was proposed.To betterfit the irregular edges of unstructured road,the method of segmentation cubic spline interpolation wasintroduced to fit the road edges to realize road recognition.The experimental results showed that underthe six working conditions of sunny day,cloudy day,straight light,backlight,sunny day in winter and收稿日期：2 0 2 2-11-17 修回日期：2 0 2 3-0 1-16基金项目：山东省引进顶尖人才“一事一议”专项经费项目（鲁政办字【2 0 18 2 7 号）、山东省重点研发计划（重大科技创新工程）项目（2 0 2 0 CXG C0 10 8 0 4）、山东省自然科学基金项目（ZR2021MC026）和淄博市重点研发计划（校城融合类）生态无人农场研究院项目（2 0 19ZBXC200）作者简介：张彦斐（197 7 一），女，教授，博士，主要从事机器人与智能农机装备研究，E-mail：1392 0 7 6 s i n a.c o m通信作者：宫金良（197 6 一），男，副教授，博士，主要从事机器人与智能农机装备研究，E-mail：g j l w i n g q q.c o m36农2.023年机报学业械rain and snow weather,the mean value of average longitudinal deviations of S component,texture imageand fusion image were 2.43 pixels,39.71 pixels and 1.36 pixels,respectively,and the mean value ofaverage deviation rates were 0.99%,18.02%and 0.54%,respectively.Compared with the Scomponent and texture image,the average longitudinal deviation and average deviation rate of the fusionimage constructed by this method were effectively reduced.The mean value of average deviations of leastsquares method,random sample consensus method（RA NSA C）a n d s e g me n t a t i o n c u b i c s p l i n einterpolation method for fitting edges were 2.64 pixels,3.16 pixels and 0.66 pixels,respectively,themean value of average deviation rates were 1.02%,1.21%and 0.26%,respectively,and the averagestandard deviations of deviation rate were 0.23%,0.31%and 0.09%,respectively.The mean value ofaverage deviation,mean value of average deviation rate and average standard deviation of deviation rate ofthe algorithm were the minimum,which indicated that the fitting method had higher fitting accuracy andbetter stability.Under the six working conditions,the average processing time of a single image of thisalgorithm was 89.9 ms,which met the real-time requirements of agricultural robots in the process ofoperation.The method can provide a reference for agricultural robots to recognize unstructured roads incomplex orchard environments.Key words:agricultural robot;unstructured road recognition;machine vision;feature fusion;cubicspline interpolation0引言随着农业现代化的推进，我国农业快速发展，智慧农业加速了农业机器人代替传统农业机械的步伐，促进了农业机械生产过程中自动化、智能化水平的提升2 ,在减轻人工劳动强度的同时，还能降低作业成本、提高作业效率与精度3。道路的精准识别作为农业机器人实现自主导航、路径规划以及实施精细化作业的基础，对于农业机械在非结构化道路环境下是否能够安全可靠的运行具有重要意义4非结构化道路由于没有清晰的道路边界且易受阴影和水迹等干扰因素影响5，导致道路区域和非道路区域难以区分。目前常见的道路识别方法主要依靠视觉传感器、激光雷达及多传感器数据融合等，由于视觉传感器获取信息丰富，可从图像中提取颜色、形状和纹理等特征以识别道路，不受多传感器协同作业时的干扰，且具备环境适应性强、误差累积小、性价比高以及细节识别精度高等特点6-10)，已成为农业车辆自主导航系统的研究热点在基于机器视觉识别道路研究中，文献11-12通过提取多种道路特征并结合支持向量机、随机森林等实现道路识别，该方法对结构化道路识别效果较好，但当面对道路环境相对复杂的非结构化道路时，识别效果并不理想。文献1316 通过道路形状特征、各颜色空间特征信息等进行道路特征的提取，从而限定路面的不可通行区域达到可通行区域检测的目的，并结合各种曲线模型、拟合算法完成对道路的识别。以上方法虽对非结构化道路检测效果较好，但对图像颜色依赖性较大，当道路与背景差异不显著以及阴影覆盖面积较大时算法检测失效。针对果园环境中非结构化道路没有明显道路边界且周围环境复杂，单一使用颜色特征无法将道路和与其特征相似的干扰因素较好分离等问题，本文提出一种将颜色特征与纹理特征相结合的非结构化道路边缘识别方法，将全局特征提取与局部特征提取相结合，保证边界提取的精度与完整度,并使用基于距离和位置双重约束的两级伪特征点剔除方法对干扰点进行剔除，最后使用分段三次样条插值函数对边缘点进行拟合得到道路边缘曲线。1图像预处理1.1畸变矫正使用RMONCAM林柏视-G600型相机采集分辨率为6 40 像素48 0 像素的图像，此时图像位于像素坐标系中且存在一定畸变，为了得到畸变相对较小的图像，需进行相机标定确定相机内部参数以得到像素坐标系与世界坐标系的映射关系，并获取畸变参数以矫正由于镜头存在光学畸变造成的图像径向与切向畸变。本文使用OpenCV中的相机标定方法17 对20幅不同角度的118 棋盘格图像进行标定，标定过程如图1所示，相机内部参数与畸变参数见表1，反向投影误差为0.0 2 5像素，对图像进行畸变矫正与变换缩放，效果如图2 所示。1.2图像灰度化矫正后图像位于RGB颜色空间中，对于非结构化道路而言，其周围环境较为复杂，除道路两侧植被外，还有阴影、土壤以及沙石等因素的干扰，而RGBinGminmaXminGmaxmin3Hax37张彦斐等：基于特征融合的果园非结构化道路识别方法第7 期图1相机标定过程Fig.1Camera calibration process表1木相机标定结果Tab.1Camera calibration results相机内参数值畸变参数数值f./像素487.92ki0.0858J像素487.20k2-0.127 6uo/像素324.82k30.0146。/像素227.5491-0.000245T。/像素0.207 5q2-0.000 166注：f,为焦距f在xy轴上的归一化焦距；uovo为像主点坐标值；r。为重投影误差；k（i=1,2,3）为径向畸变参数;q:（i=1,2）为切向畸变参数。(a）原始图像(b）矫正后图像图2图像畸变矫正Fig.2Image distortion correction颜色空间3个分量与亮度高度相关，易受光照影响，使用单一颜色特征难以将道路与非道路区域进行区分，故将RGB图像转换到更适合进行图像处理的HSV颜色空间18 HSV颜色空间由色调（Hue，H）、饱和度（Sa t u r a t i o n，S）和亮度（Value，V）3个分量构成，对图2 b在HSV空间各分量的特征分布进行分析，图3为各分量的特征空间。由图3可知，以图像左上角为原点，向右为x轴正方向，向下为y轴正方向，道路图像HSV颜色空间中H、V 分量道路区域与周围植被区域灰度渐进，无明显灰度分级。灰度等级计算公式为中GHGM、G L-HSV空间中各分量灰度分级后的高、中、低灰度级GGHSV空间中各分量的最大、最maxmin小灰度式中取整符号若将图像灰度等级分为高（G）、中（GM）、低（G,）3级,H分量中道路与植被均处于G,灰度级（灰度范围为0,59），V分量中道路与植被均处于G灰度级（灰度范围为17 0,2 55），不易区分道路与非道路区域。相较而言，S分量中道路区域主要位于G,灰度级（灰度范围为0,8 5），邻近区域主要位于GM与G灰度级（灰度范围分别为8 5,17 0）和17 0,2 55），两区域灰度分级较明显，利于后续道路边缘提取。对图4中不同工况和季节下图像中道路及其邻近区域进行灰度分级，其分级结果见表2。由表2 可知，不同环境下S分量较H、V分量而言，其道路及其邻近区域均处于不同的灰度等级，且S分量受光照干扰程度较小，故本文选用HSV颜色空间中的S分量对图像进行灰度化处理，图2 b灰度化效果如图5所示1.3感兴趣区域选取感兴趣区域（Regionof interest,ROI）的选取要在满足减小计算量需求的同时，尽可能保留图像中的有效信息，以便后续图像处理。为能恰当选取ROI分割位置,本文提出一种基于滤波与梯度统计相结合的感兴趣区域动态提取方法。灰度+250灰度1250灰度1601002001752002001201501501501758012580N11001504060507510010050125100040050000075202550020002000200200200200400400400400400400600600600(a)H分量(b)分量(c)V分量图3HSV颜色空间各分量空间特征图Fig.3Spatial feature maps of each component of HSV color space382023年农机报业学械(a)晴天(b)阴天(c）冬季晴天(d)雨雪天气图4不同环境下图像Fig.4Images in different environments表2不同环境下图像灰度分级结果Tab.2Image gray scale grading results underdifferent environments图像H分量S分量V分量序号LRLBLRLBLRLB1低低低高高高2低低中高中低3高低低高中中4中低低高中中注：图像序号1 4对应图4a4d;Lr为图像中道路区域所处灰度等级；LB为图像中道路邻近区域所处灰度等级。图5S分量灰度化效果Fig.5Graying effect of S component由图3b可知，虽然道路与非道路区域灰度分级较明显，但非道路区域灰度变换剧烈且道路区域存在细小噪声。为方便后续梯度统计，使用双边滤波19 对图像进行平滑处理,得到滤波后输出的像素值I，（i,j)为2f(i.j)-f(u,t)(i-u)2+(j-0)2Zfi.j)e20220%ijEDI,(i,j)=(2)2i.j)-f(u,n)(i-u)2+(j-0)2202203e式中(i,j)、(u,)-核内邻域像素与中心像素坐标f(i,j)、f(u,v)核内邻域像素与中心像素灰度空间域核与值域核的标准差D-以（u,）为中心的滤波核窗口一双边滤波可保证在对图像消除低频分量噪声的同时保留边缘细节。滤波后，采用Sobel算子沿水平方向提取图像梯度，图6 为滤波效果及图像梯度空间分布特征。(a)双边滤波10.3梯度0.20.030.10.0200.01-0.10-0.2-0.01-0.3-0.020-0.03-0.040200200400400600（b）水平梯度空间特征图6双边滤波效果及Sobel水平梯度空间特征图Fig.6Bilateral filtering effect and spatial featuremap of Sobel horizontal gradient由图6 b可知，因道路区域灰度变换均匀，该区域梯度基本为零，道路两侧及边缘存在梯度变换，且单行像素中道路区域所占比例由近视野区至远视野区逐渐变小，若对道路区域统计每行梯度非零的像素个数，道路尽头所处位置梯度非零个数应为最大。由于道路尽头位于图像中间区域，为减小计算量，沿图像水平方向选取中间1/3区域自上而下统计每行梯度非零的像素个数并存人数组N_zero,计算数组最大值及其对应索引位置，若存在多处索引,则取最大索引并确定分割位置hL=+max(I)(3)3式中L-ROI分割位置对应索引h-输人图像高度I数组N_zero最大值对应索引位置图7 为S分量ROI。2图像融合与道路边缘提取2.1多特征图像融合2.1.1纹理特征提取Gabor滤波器器【2 0-2 1 可对局部特征进行提取并39张彦斐等：基于特征融合的果园非结构化道路识别方法第7 期图7S分量ROIFig.7ROI of S component对光照变化具有较强的鲁棒性，能够根据特定纹理方向提取有效特征并去除颜色特征无法识别的阴影部分。由于道路本身同样存在纹理特征，若设置的纹理提取方向过多易造成全图像纹理特征提取，导致道路与非道路区域无法区分。为保证在突显道路边缘特征的同时尽量不提取路面纹理，根据道路与边缘区域纹理角度信息，构建2 个尺度为7、方向分别为0 和90 的Gabor滤波核并对S分量ROI进行滤波得到纹理图像g（x，y）。g(x,)=e()()le(2m+)(4)其中cosOsing(5)sinocosoLy入In22+1(6)TV22-1式中像素坐标位置式中（x，y）像系坐标位直滤波核的方向、标准差与长宽比b、入、滤波核的带宽、正弦函数的波长与相位偏移图8 a、8 b 为滤波后所得纹理图像，由于=0 的原纹理图像对比度较小，为使纹理特征更便于观察，图8 a为=0原纹理图像做一次灰度正规化增强处理后效果，图8 c为=0原纹理图像与=90纹理图像相加所得的多方向纹理特征提取图像。（a）=0 滤波结果（增强后）(b)0=90滤波结果(c）0 与90 相加滤波结果图：纹理特征提取Fig.8Texturefeatureextraction2.1.2图像融合及后处理当路边土壤、沙石等与道路饱和度相近的干扰因素覆盖道路时，单一使用S分量无法将其与道路分离，易造成边界的误判或漏判。为保证边界提取的精度与完整度，本文提出一种基于图像颜色与多方向纹理特征相结合的图像融合方法，该方法主要包括以下两个关键步骤：(1)纹理特征掩膜提取。采用Sobel算子计算纹理图像水平方向梯度，依据梯度图像中边缘位置较其他位置而言其梯度绝对值更大的特点，将图像梯度由最大值至最小值平均分为5份，提取梯度位于上2/5与下2/5区域的像素点，其余像素点值设为0，所提取到的特征掩膜如图9a所示。(a）纹理特征掩膜(b）融合后图像(c）二值化效果(d)去噪效果图9图像融合及二值化Fig.9Image fusion and binarization(2)最大值法图像融合。将提取到的纹理特征掩膜各像素点值与S分量ROI最大类间方差法2 2-2 41 分割阈值进行比较，根据比较结果对掩膜像素点值进行重置。VM(i,j)+Vs(i,j)(Vm(i,j)Ts)VM(i,j)=3Vu(i.j)(VM(ij)T,)(7)式中VM（i,j）一一重置后纹理特征掩膜像素点值Vm（i,j）一一重置前纹理特征掩膜像素点值Vs(i,j)S分量ROI的像素点值T一-S分量ROI的最大类间方差法分割阈值重置后的掩膜图像与S分量ROI逐像素点比较，取两者中较大像素点值生成融合图像，如图9b所示。F(i,j)=max/V(i,j),Vs(ij)(8)式中F(i,j)融合后图像像素点值TJ融口石图家家系点值融合后图像将全局特征提取与局部特征提取相结合，在颜色特征提取基础边界的前提下，使用纹理特征对精细化边界进行填充，能够有效提高边缘检测精度。使用最大类间方差法将融合图像二值化，对二值图像采用33模板进行开运算，采用最大联通区域法先将其面积小于10 0 像素的白色孔洞像素值设40农2023年机业报学械为0（黑色），再将其面积小于2 0 0 像素的黑色孔洞像素值设为2 55（白色），以此达到去除噪声的目的，图9c、9d 为图像二值化及其去噪后效果。2.2道路边缘提取2.2.1特征点寻找及剔除若选取二值图像中包含边缘信息的某一列像素，可知道路边缘点应位于像素值突变位置。将去噪后二值图像沿水平方向平均分为40 个子区域，取每个子区域中间列作为特征点提取列，将每列自上而下检索到的像素值由0（黑色）至2 55（白色）的突变点作为候补特征点。候补特征点中存在许多干扰点，如单列存在多个突变点、道路区域大面积噪声未去除导致伪特征点被提取等情况，为精准剔除伪特征点保留边缘点，本文提出一种基于距离与位置双重约束的两级伪特征点剔除方法。基于距离约束的一级伪特征点剔除具体步骤如下：（1)查找x值最小候补特征点所在提取列（以下简称为“首点列”）上存在几个特征点，若只有一个特征点，则保留该点（以下简称为“保留点”）；若存在多个特征点，保留值最大的特征点，其余点剔除。（2)顺序遍历首点列后的每一提取列,若该列不存在特征点,继续遍历下一列;若该列存在一个特征点，则保留该点；若存在多个特征点，计算该列所有候补特征点与上一个保留点之间的距离（以下简称“点距”），并计算最小点距及其对应在该列候补点中的索引位置，若自上而下最小点距点为该列最后一个特征点，则保留该点，其余点剔除，否则计算其后所有候补特征点点距与最小点距之间的差值，若点距差值均大于给定阈值，则保留最小点距点，其余点剔除；若存在点距差值不大于设定阈值的候补特征点，则保留符合要求的候补特征点中值最大的特征点，其余点剔除。道路环境较简单时，可实现一级伪特征点剔除后的保留点均为道路边缘点，但当道路环境较为复杂时，一级伪特征点剔除后的保留点除道路真实边缘点外还包含少量较当列其他候补特征点而言虽距离边缘较近但非边缘点的干扰点，针对这部分干扰点，使用基于位置约束的二级伪特征点剔除方法进行剔除，具体步骤如下：(1)使用 K-means1s25-26方法对一级伪特征点剔除后的保留点进行聚类，并计算左右聚类中心，根据2个聚类中心x值大小区分左右特征点。(2)将左侧保留点x值不大于其聚类中心值的点集设为Pi,保留点x值大于其聚类中心x值的点集设为P2;将右侧保留点x值小于其聚类中心值的点集设为P3，保留点值不小于其聚类中心x值的点集设为P4。(3）将点集P1、P4中y值最大的保留点y1max和y4max，以及点集P2P：中y值最小的保留点y2min和y3min设为基准点，图10 为K-means聚类结果及基准点。左侧聚类点右侧聚类中心左侧聚类中心-聚类中心所在列右侧聚类点150Y2min3min100150200yimax1Y一4max0100200300400500600列序号图10K-means聚类结果及基准点Fig.10K-means clustering results and datum point（4)判断基准点yimax和y3min是否为其所在类别中值最小的特征点,若是,则保留点集plP；中所有特征点；若不是,剔除其所在类别中x值小于基准点Y1maxy3min相应值的保留点。（5）判断基准点y2min和y4max是否为其所在类别中x值最大的特征点，若是，则保留点集P2P4中所有特征点；若不是，剔除其所在类别中值大于基准点y2miny4max相应值的保留点。（6)经过步骤（4）与步骤（5）剔除后所剩的特征点为最终提取到的道路边缘点，特征点提取与剔除结果如图11所示。特征点提取列特征点特征点（a）提取列与候补特征点（b）一级伪特征点剔除特征点(c）二级伪特征点剔除图11特征点提取与剔除Fig.11Feature points extraction and elimination2.2.2道路边缘拟合由于非结构化道路边缘无固有形状，若使用线性拟合、边缘模型等方法进行拟合，其拟合效果与实际道路边缘误差较大，故本文使用分段三次样条插值法分别对道路左右边缘进行拟合，在保证分段点间连接平滑的同时避免了高次函数导致的龙格现象，使拟合结果更贴合实际边缘，以左侧边缘点为例，设给定的节点（边缘点）坐标为（x;,y）（i=0,1，,n）,相邻2 个节点构成一41张彦斐等：基于特征融合的果园非结构化道路识别方法第7 期个分段区间，n+1个节点共构成n个分段区间，每个分段区间的三次样条函数表达式为S,()=a,(x-x,)3+b,(x-x,)+c,(x-x)+d;(xex;,xi+1,i=0,1,.,n-1)(9)式中a;、b;、c i、d 各分段区间三次样条函数各项系数则n个分段区间对应的三次样条函数S（）表达式为S。(x)(xExo,x)S()(xE(x1,x2)S()(10)Sn-1()(xE(xn-1,x,)同时，三次样条插值函数S（x）需满足以下4个插值条件：（1)函数S()穿过所有节点,即S（,）=y（i=0，1,n-1)且Sn-I(xn)=yn。(2)函数S（）在所有节点（除第1个节点和最后1个节点）处零阶连续，即S（x i+1）=S;+1（x i+1）(i=0,1,.,n-2)。（3）函数S（)在所有节点（除第1个节点和最后1个节点）处一阶连续，即S（xi+1）=Si+1（;+1）(i=0,1,.,n-2)。（4)函数S（）在所有节点（除第1个节点和最后1个节点）处二阶连续，即S（x i+1）=S+（x i+1）(i=0,1,.,n-2)。由式(9)可得各分段区间三次样条函数S,（)的一阶导函数与二阶导函数分别为S(x)=3a;(x-x,)+2b,(x-x,)+c;(11)S=6a;(x-x)+2b;(12)根据条件（1）与式（9）可得d,=y;(i=o,1,n-1)(13)Sn-I(x,)=yn根据条件（2）与式（9）可得a,h+b,h,+c,h;+d,=yi+1(14)根据条件（3）与式（11）可得3a,h;+2b,h;+c;-Ci+1=0(15)根据条件（4）与式（12）可得6a,h;+2b;-2bi+1=0(16)式(14)(16)中,i=0,1,n-2;h,=x;+1-x;本文使用非节点边界法给出插值函数的边界条件。第1段函数S。（）和第2 段函数S（）在第2个节点（x1,y1）处三阶导数连续，同时要求倒数第2段函数Sn-2（x）和最后一段函数Sn-1（x）在倒数第2个节点（xn-1，y n-1）处三阶导数连续，由此可得S%(x）=S(x)和S-2(xn-1)=S-1(xn-1),即6a。=6 a l(17)6an-2=6an-1联立式（13）（17）即可求解分段三次样条插值函数S（），得到左侧道路边缘三次样条插值曲线，同理，可得右侧道路边缘三次样条插值曲线，图12 为道路边缘拟合结果。图12道路边缘拟合结果Fig.12Fitting result of road edges3试验及结果分析试验在位于山东省淄博市沂源县山东理工大学与山东中以现代智慧农业有限公司共建的标准化苹果园中进行，试验设备采用Intel（R）Co r e（T M）i 5-7200UCPU,主频2.50 GHz,内存12 GB,Windows64位操作系统的计算机，道路边缘识别程序在Anaconda（Sp y d e r）集成开发环境下使用Python3.8编写完成，图13为图像采集设备，图像采集时相机光心离地1.3m。图13图像采集设备Fig.13Image acquisition equipment在晴天、阴天（存在车辆干扰）、顺光、逆光、冬季晴天和雨雪天气6 种工况条件下对本文提出的基于图像颜色与多方向纹理特征相结合的图像融合方法进行试验效果分析。在其他处理步骤一致的前提下，设置S分量与多方向纹理特征图像为对照组，提取3种特征图像中的边缘点，检测算法识别边缘点与人工标识边缘点之间的纵向偏差绝对值d，并计算偏差率d100%(18)N式中NROI图像纵向像素数d偏差率图14为多工况条件下3种特征图像边缘点提取结果，表3为多工况条件下3种特征图像边缘点平均纵向偏差绝对值与平均偏差率。农422023年机报业学械晴天阴天顺光光冬季晴天雨雪天气原图边缘点S分量边缘点纹理图像边缘点融合图像边缘点图14多工况条件下3种特征图像边缘点提取结果Fig.14 Edge points extraction results of three kinds of feature images under multiple working conditions表3多工况条件下3种特征图像边缘点提取误差计算结果Tab.3Calculation results of edge points extraction error of three kinds of feature images under multiple working conditions平均纵向偏差/像素平均偏差率/%特征图像晴天阴天顺光逆光冬季晴天雨雪天气晴天阴天顺光逆光冬季晴天雨雪天气S分量1.942.532.543.002.272.310.771.171.540.960.760.72.纹理图像13.5693.3861.3865.102.212.655.3643.2337.2020.730.740.83融合图像1.571.531.091.801.230.920.620.710.660.570.410.29由图14可知，在晴天、阴天、顺光、逆光4种工况下，基于S分量与融合图像提取到的边缘点较完整且误差较小，基于纹理图像提取的边缘点缺失严重且误差较大。在冬季晴天和雨雪天气工况下，3种特征图像提取的边缘点均较完整，基于S分量与纹理图像提取的边缘点误差略大于基于融合图像提取的边缘点误差。表3数据表明，在多工况条件下，S分量平均纵向偏差为1.94 3.0 0 像素，平均偏差率为0.7 2%1.54%，纹理图像平均纵向偏差为2.2 1 9 3.38 像素，平均偏差率为0.7 4%43.23%，融合图像平均纵向偏差为0.92 1.8 0 像素，平均偏差率为0.2 9%0.7 1%。S分量、纹理图像和融合图像在6 种工况下的平均纵向偏差均值分别为2.43、39.7 1、1.36 像素，平均偏差率均值分别为0.99%、18.0 2%和0.54%，S分量的平均纵向偏差均值与平均偏差率均值均居中，纹理图像的平均纵向偏差均值与平均偏差率均值均最大，融合图像的平均纵向偏差均值与平均偏差率均值均最小。融合图像在6 种工况下的平均纵向偏差均值较S分量与纹理图像的平均纵向偏差均值分别减小44.03%和96.58%，融合图像的平均偏差率均值较S分量与纹理图像的平均偏差率均值分别减小了45.45%和97.0 0%。由此可见，本文提出的基于图像颜色与多方向纹理特征相结合的融合图像较单一特征图像的边缘点提取误差与偏差率更小、提取精度更高，且在阴天工况下，存在车辆干扰时，基于S分量与纹理图像的提取方法无法对车辆所在区域进行识别，而基于融合图像的提取方法可有效提取车辆所在区域边缘点，实现障碍物的躲避。图15为常见拟合方法最小二乘法、随机采样一致性法（Random sample consensus,RANSAC)与本文分段三次样条插值法对边缘点的拟合效果。由图15可知，本文采用的分段三次样条插值法为曲线拟合，较最小二乘法与RANSAC法的直线拟合更贴合非结构化道路实际边缘曲线。当阴天工况下，路特征点道路边缘晴天阴天顺光逆光冬季晴天雨雪天气最小二乘法拟合边缘RANSAC法拟合边缘三次样条插值法拟合边缘图15多工况下不同拟合方法道路边缘拟合效果Fig.15Road edges fitting effect of different fitting methods under multiple working conditions43张彦斐等：基于特征融合的果园非结构化道路识别方法第7 期面存在车辆时，最小二乘法与RANSAC法无法对车辆所在区域边缘进行拟合，不利于农业车辆行驶过程中障碍物的躲避，而本文使用的三次样条插值曲线可实现对车辆所在区域边缘的准确拟合，有助于提高农业车辆行驶过程中的安全性。对6 种工况各选取10 幅图像，获取各边缘点所在列的实际道路边缘与算法识别道路边缘之间的纵向偏差绝对值，使用平均偏差、平均偏差率、偏差率标准差作为评价指标，对3种拟合方法的拟合效果进行分析，具体数据见表4与图16。表4多工况下不同拟合方法道路边缘拟合效果评价指标Tab.4Evaluation indexes of road edges fitting effect with different fitting methods under multiple working conditions平均偏差/像素平均偏差率/%拟合方法晴天阴天顺光逆光冬季晴天雨雪天气晴天阴天顺光逆光冬季晴天雨雪天气最小二乘法2.791.662.263.042.833.251.150.841.161.050.911.02RANSAC法3.202.052.373.443.544.371.321.031.211.191.141.38三次样条插值法0.900.570.580.530