基于机器视觉技术的柑橘产量测绘系统.doc

基于机器视觉技术的柑橘产量测绘系统
摘 要：这项研究是利用图像处理算法来识别和计数图像中柑橘类水果的数量。一旦这个算法完成后，它将利用由一个GPS接收器和皮卡车里的距离测量装置所构成的机器视觉系统来估计在刚经过的一段距离内的柑橘产量。实验中总共需要90幅柑橘林的图像。在分析研究柑橘林图像的同时还制作了直方统计图，分析了不同级别的像素分布情况，主要包括柑橘、叶片以及背景。该技术根据图像中的色度和饱和色层的分布和图像分割的极限值来识别柑橘类水果。通过发展计算机视觉算法来加强从图像中获取信息的能力。在实施预处理阶段时还伴随着腐蚀和膨胀的结合，而预处理阶段是为了去除噪声，准确地计量柑橘类水果的数量。最后通过分析斑点来统计果品的数量。除去图像的采集时间，处理图像的总时间是283毫秒。该算法已测试了59副图像，研究得出R2值介于机器视觉算法得出的数值和手动计数的平均值之间
关键字：柑橘；颜色；产量分布；精细农业；图像处理
引言
在竞争压力下农民努力通过提高作物产量来降低成本。随着农业机械化的出现，大型机械设备的发展已成为了一种趋势。农民够拓了宽耕作区域，但是要将更大的耕作面积作为一个整体的管理单元就需要忽略这一特定领域中的不同变化。
2001年佛罗里达州的柑橘种植面积约336872公顷，产量超过2.78亿箱，占美国柑橘总产量的76％（佛罗里达州农业和消费者服务，2002）。
柑橘种植者需要处理好一般地块上数以千计的果树、特定区域的管理以及精细农业之间的关系，尽可能地在需要的区域推广技术以及实行管理。这种因地制宜的管理一方面提高了果树产量、果品的品质和农民收入，另一方面限制了对敏感的环境的负面影响。精密的技术，产量统计是走上特定作物管理的第一步。产量以及其他相关领域的特点将极大地帮助种植者适时地了解他们的果树，灵活地评估整个柑橘林，从而为他们做出重要、高效的决策做准备。
虽然柑橘种植者经常管理整个果林或着以统一投产、特定因素为基础，例如土壤类型、肥力、树的健康状况以及害虫数量，但是水的需求需要高效的管理决策来满足。产量准确的统计对特定区域管理下的盈亏以及决定改变栽培技术是否提高利润至关重要。
目前，山羊系统（GeoFocus，有限责任公司，盖恩斯维尔，佛罗里达州）是唯一个可用于柑橘产量测绘的软件。在这个系统中，山羊卡车司机需要按下一个按钮来记录桶的初始位置，但是这个桶常常易被遗忘，成为误差的主要来源。果实采摘后测得数据是可被利用的，系统所采集的产量数据来自于多棵树，而不是单棵树。
本研究的总体目标是运用机械视觉来开发实时产量测绘系统，卡车在树行间行进时提供果园产量信息。该系统通过颜色信息适时地从图像中确定柑橘类水果。最终需要对产量测绘系统进行校准，并且在商业柑橘林进行了测试。
本文的具体目标是开发一种算法，这种算法能够从图像中检测柑橘类水果并反馈出果实数量。由于此模块一旦完成后，将被连同一个GPS接收机，拍摄橘林连续不重叠图像的距离测量装置一起纳入机器视觉系统，因此该系统可以绘制一个柑橘树林的产量估算图。
背景
在过去的十几年间，众多的产量监测和产量测量系统在各种作物中已被广泛研究和形成商业化。在作物收获期间，粮食产量的测量技术（舒莱尔和裴，1987年；西塞等人，1989年）已被广泛地研究和采用。其它作物产率计算的例子包括棉（威尔克森等人，1994年），土豆（凯姆贝尔等人，1994），番茄（佩尔蒂埃和亚雅，1999），和青贮饲料（Lee等人，2002）。
尽管自动收获和一些同时开展的项目已经取得了广泛的经济影响，但是目前山羊系统只能测量柑橘类水果经济产量。然而，佛罗里达州柑橘产业的经济价值使精耕成为一个可行的技术，并取得了巨大的发展。
柑橘产量监测系统已经发展了好几年。第一个柑橘产量监测器是由惠特尼和许勒尔等人（1998年和1999年）开发的。在山羊产量测绘系统中，产量是通过测量山羊卡车上一个桶的位置来测定。该单元由一个数据记录器组成，当操作员随时按下一个按钮用于记录时，它可以记录桶的位置（纬度，经度和时间）。但是有人指出该系统有时由于卡车司机忙于收割或其他一些因素导致没有记录桶的位置而产生错误的信息。
为了避免以前遇到的问题，一种自动触发系统（萨利希等人，2000）可以记录桶的位置。该系统由一个地理聚焦产量监视器，一个DGPS接收机，两个压力开关，一个位置开关，和两个定时器组成。压力开关用于检测主臂举升油缸和转储缸。位置开关确定临界头是否被设在卡车散装引脚中。只有符合所有这三个条件，系统才能确定该卡车上的桶是否收集了水果，同时通过数据采集电路，在系统启动时使用定时器和继电器电路在给定的时间里收集的DGPS数据是。但是，自动触发系统没有记录一些桶的位置，这可能是由于定时器的延迟，压力开关设置和硬件连接的相关问题造成的。
测量树生柑橘类水果是使用机器视觉产量测绘系统的首要任务。柑橘类水果都分布在一个深约一米的有棚盖的带状区域里，形成一个完全非结构化的环境。检测树林中的柑橘类水果涉及到许多复杂的操作。视觉自动识别水果范围是树冠冠层外侧部分到内层很深的阴影部分之间，这一范围内的光照变化较为复杂。柑橘类水果常簇生，还有一些水果被树枝和树叶遮挡住。
在一些关于水果识别的早期研究中已对苹果、柑橘和番茄进行了试验。帕里什和高斯科（1977年）使用了标准的黑白摄像头来收集苹果图像，并用模式识别方法来引导水果采摘机器人。另一方面，屠宰和勒尔（1989年）使用的彩色摄像头利用橙色的高对比色，实现了彩色图像处理算法，并用这个方法从图像中区分橙色。
维特卡尔等人（1987年）依据水果形状来检测番茄，而不是依据颜色信息。此方法可用于解决光线反射和水果在树阴里产生的干扰现象。他们使用了霍夫圆形变换来定位水果或水果的图像中的一部分。在应用霍夫变换时，通过一个索贝尔梯度算子，在图像中每个像素处计算梯度大小和方向。使用这种方法，部分被遮挡的水果也可以被检测到。
斯拉法特及哈勒尔（1987年和1989年）参与了机器人果实采收系统的研发并提出两种方法来检测基于颜色信息中的水果图像。在第一种方法中（斯拉法特和哈勒尔，1987年），在一个二维特征空间中，应用传统的分割方法来分析每个图像像素的色调和饱和度特征，分割使用了最大和最小阈值。由于颜色分割需要控制某种形式的照明，他们使用了人工照明系统。在第二种方法中（斯拉法特和哈勒尔，1989年），分类模型通过使用颜色信息来鉴别橘园里自然背景下的橘子。贝叶斯分类器中使用了RGB颜色空间，并且检查了果实是否属于水果类，并把它们从背景中分割出来，给各种贝叶斯分类技术创建一个表。
大多数工作中使用了CCD相机拍摄的图像，并使用局部或基础形状分析来检测水果。局部分析系统，例如允许快速检测彩色像素或强度，能够探测到水果在一个特定的成熟期背景下的不同颜色。形状分析系统能够研究独立色彩，但他们的算法却要耗费更多的时间。
材料与方法
图像处理步骤中的分割指的是从背景中分离目标图像。在本文中，关注的对象是柑橘类水果，背景包括柑橘树叶和树枝。依据彩色平面的色彩饱和度分析确定柑橘类水果影像的阈值。
图像采集
为了提高识别柑橘的能力和产量估计算法的精度，试验选择使用640×480像素的数码相机（型号S100，佳能）在静止模式拍摄图像。本研究中测试的柑橘品种是奥兰多桔柚。2003年2月，柑橘收获季节结束前的一个星期里总共需要采集90幅图像。橘林在佛罗里达州的盖恩斯维尔，是佛罗里达大学的实验柑橘林。从柑橘林中随机地选择水果的场景，并在自然采光条件下拍摄图像。依据焦距和图像中水果的数目将图像被划分为两类。特写类视图包括位于图像中心2幅或3幅柑橘类水果图像。普通类视图包含超过8幅或10幅水果图像，同时这类图像也是正常情况下柑橘林的一个完美例子。使用Windows系统上的750 MHz的Pentium处理器进行图像处理。
水果计数算法的发展
分析图像色彩特征包括RGB（红色，绿色和蓝色）和HSI（色调，饱和度和亮度）的颜色空间。如表1所示，图像被随机的分为校准数据集和验证数据集。针对这三个不同的类型：C（柑橘类水果）、L（叶）、K（背景），结合迈创影像库（迈创图像，魁北克，加拿大）用vc++编写的程序（微软公司，雷德蒙）可以得到每个像素的RGB和HSI值。针对不同类别将单个像素点存储在单独的文本文件中，并且使用Microsoft Excel（微软公司雷德蒙）对其处理。使用二值化可以看到在水果和背景之间的色层里有一个明显的区别，从而导致白色像素代表水果和黑色像素代表其他果品。依据RGB和HSI颜色空间里的各种组合绘制成像素分布图表。通过手动检查从校准集的图像中选出C，L和K这三类像素点。
由于普通类视图中图像的不同亮度以及一些枯叶的存在，使得某些像素被错误地归类为水果。应用一套包含合适的腐蚀和膨胀的内核算子可消除大部分检测到虚假影像。检测到的某些水果大多分布在众多水果集的中心，部分像素由于高亮度的原因被误认为是背景。应用膨胀和腐蚀的组合的内核算子能够填补这些空白。内核大小是为了消除噪声和填充空白，这个试验中，选择出了算法中腐蚀和膨胀命令以及最佳内核的尺寸。通过应用不同大小的内核、不同的命令校正图像后发现内核算子能够除噪，填补空白。
效果和比较
为了测试该算法的性能，选出正常视角下的59幅和20幅验证过的图像，它们显示出8名观察员得到的水果的平均数量，并被作为手动计数的参考。这是为了手动计数而安排的，因为不同的人得到的水果总数也是不同的。观察员分别来自不同的学科，其中有五个硕士生，两个博士生和一名博士后研究助理。实验中使用下列公式计算百分比误差。
Mv=机器视觉算法计算的水果数
Mc=人工计数的水果平均数
图像处理时间
时间处理是应用实时机器视觉的主要问题。每个执行时间的平均值为10。使用一个750兆赫奔腾处理器处理图像，利用计算机时钟测量每个图像处理步骤的时间。
结果与讨论
二值化

通过收集各类别果实，叶和背景的RGB成分，我们发现在颜色色调饱和的空间中，水果和背景之间存在明显的分割线，如图2所示。图3显示了不同类别的色调和饱和度的数据直方图。表2显示了3类31个校准图像的色调和饱和度平面的像素分布。校正集中96%的柑橘类像素在两个阈值线外（表2）。因此，如果分类算法的值下跌到两个阈值之外，该像素为柑橘类水果，否则它被归类为背景类。
图4显示了一个典型的柑橘树林图像的处理步骤，本图像贯穿于本文并用于讨论。图4a显示出了普通类视图样品的彩色图像。通过在饱和度-颜色平面的彩色图像上采用二值化的色调来进行果实采样。二值化的图像显示于图4b。
预处理
在柑橘类水果图像饱和的色层中, 发现由于叶片重叠的原因使得二值化后的图像含有许多躁点。应用腐蚀和膨胀算子以及5x5像素的内核可将这些躁点从图像中移除。去除躁点后所得的图像如图4c所示。在上述处理后的图像中有这样一个现象，由于小叶片的遮挡一个水果会被算作不止一个。为了解决这个问题，使用一组膨胀和腐蚀算子以及9x9像素的内核来处理图像，最终出现如图4d所示的图像。最终应用算法，这些图像可用来计算柑橘类水果的数量。
算法的运行和结果
使用斑点分析的方法来确定柑橘类水果。在该方法中，相连接的水果像素被视为一个单一的斑点。图像中斑点的总数就是水果的数量。系统依据周长，面积，横向宽度和柑橘类水果的垂直高度这些特点来计算图像中的斑点，并将其单独地存储在文本文件中。
运用该算法处理了59幅图像，其中普通类视图中的20幅图像列于表3。第18号图像的百分比误差小于1.01％，第7号图像的百分比误差大于78.51％。出现这样明显错误的主要原因是基于这样一个现象，即散落在地上的水果非常小，不易被人们看到，但该算法却能够探测到它们，并将其记录在内。
但应注意的是使用该算法也存在一些误差。数量估计过高的主要原因是：（a）当单个水果被许多叶片所遮挡后隐藏，像素点的分布会超过81（9X9）像素，导致它们被计为不同的水果，（b）小水果的图像像素小于100 2，通过人工计数不易看清你斑点。（c）一些图像中的许多水果隐藏在黑暗的背景下。
数量估算过低的原因是，由于连通性的原因，利用机器视觉算法在估算时，某些情况下许多水果则被计为一个。分离算法，例如分水岭算法，的使用可以解决这类问题。这些图像将通过分水岭算法进行进一步的处理。对表5中的59幅图像，利用回归分析方法得出数值介于人工计数的平均值和机器视觉测得值之间，其中回归分析中的R2值是0.76。
执行时间算法
每个图像处理步骤的平均运行时间如表4所示。软件的功能包括检查色调、每个像素的饱和灰度值、阈值以及相应分类，利用该软件可以得出二值化的时间。如果使用计算机的硬件，二值化的执行时间可以大大降低。计算出初始化时间是797ms。图像处理的总时间是283毫秒。在大田试验中，由于机器视觉技术不包括图像处理、采集时间，因此处理时间会比这一数值高一点。
总结与结论
这篇文章中，对开发一个实时机器视觉系统的水果计数算法去估计一棵柑橘产量的可行性进行了验证。该算法包括图像采集，图像色调及色层的处理、二值化，预处理除躁、填补空白和水果计数。柑桔、叶、和背景这三类像素值是用人工的方式从31幅校准过的图像上得出的。在色度饱和的色层里使用二值化可将柑橘类水果从背景里分离出来。研究发现果实、根据色层中的色度临界值可将柑橘林场景中的果实、叶片以及背景清楚地区分出来。
腐蚀和膨胀共同应用于二值化处理中，这样可以去除干扰，加强对柑橘类水果图像的正确识别。像素分析用来识别柑橘类水果，图像中的像素斑点总数就是柑橘的个数。处理图像的总时间为283毫秒。该算法已在59幅校验过的图像上进行了测试，R2值介于手动技术平均值和机器视觉技术测算值之间，且手动计数的平均数为0.76。
正确分类后的水果数量存在轻微的变化,这是由于柑橘类水果积聚成簇,甚至是闪电、锢囚锋，导致出现这种变化。进一步研究表明光照的宽泛变化可改善户外自然场景的成像，同时还需研发一种技术来识别被遮挡的水果，研究水果集群来准确地分析所有水果。