视觉神经网络林场巡检机器人的设计与开发.pdf

书书书第 卷 第 期东北林业大学学报 年 月 ）海南省自然科学基金项目（）；三亚学院“四新”研究与改革实践项目（）。第一作者简介：林甄，女，年 月生，三亚学院理工学院，副教授。：。收稿日期：年 月 日。视觉神经网络林场巡检机器人的设计与开发）林甄李睿伟谢金冶田硕（三亚学院，海南省三亚市，）（三亚小象科技有限公司）摘要以传统移动机器人为基础，结合人工智能技术、传感器技术，设计技术方案 采用无刷直流电机（）构建 套 电系统，作为自动驾驶技术的研究平台；使用“感知 决策 控制”方式作为自动驾驶平台架构，应用单目相机作为视觉传感器；自建道路行驶图像与指示标志目标检测数据集。依据林场巡检的实际需要及设计的技术路线，设计了一款以神经网络技术为基础，使用单目相机作为传感器的自动视觉引导驾驶的林场巡检机器人；对设计的样机，在林场不同特性的不同环境道路中进行了实际行驶测试。结果表明：依据实际道路测试结果，视觉引导的可移动机器人达到了设计目标。确定的机器驱动执行机构方案与转向结构方案可行；为移动机器人平台设计构建的无刷直流电动机、电控系统、电池模组均工作正常，完成了机器平台的构建，实现了设计目标功能。依据“感知 决策 控制”的端到端方案在实际环境中的测试效果，证明使用简单传感器配合神经网络的视觉方案用于移动机器人自动驾驶中是可行的。在不同特性的不同环境道路（主要包括简易环形赛道环境、社区内部道路环境、林场环境、公路环境）、不同光照条件行驶测试中，均实现了自动驾驶功能，具有较高的灵活度；与当前主流使用的多传感器融合自动驾驶方案的移动机器人相比，采用单目相机作为传感器的端到端方案，无需使用繁杂昂贵的传感器便可实现其部分功能，成本大幅降低，自主运行移动机器人更简易化。关键词机器视觉；神经网络；单目相机；林场巡检机器人分类号 ，（，）；（，），（）：，（）“”，“”，（，），；目前，无人驾驶技术仍以智能电动汽车领域的研究为主要方向，其研究过程属于大型复杂系统的开发，包含智能汽车构造、车规级传感器等元素。这种大型车规系统开发，工程庞大，系统要求极高的稳定性与安全性，受限于复杂的开发工程量与冗杂流程 。因此，部分厂商开始将方向转为自动驾驶领域在要求较低的自动驾驶机器人开发中。例如，美团与京东公司的无人配送车、亚马逊的送货无人机方案、工业 时代的智能自动导向车、搬运机器人等 ，不同于载人汽车工业产品的开发，此类机器人的应用场合要求较低，对各类指标需求也没有载人汽车严格，更易产出与落地。近年来，以菜鸟网络、京东等大企业为代表的，主要运营依靠物流体系的企业，花费巨大成本去研究无人配送技术；如菜鸟所拥有的物流实验室，研发产品有仓库分拣搬运机器人、无人物流配送机器人、送货无人机等多个产品。由于林场巡检机器人，造价成本不易过高，为此，本研究根据林场巡检实际使用布局，以传统移动机器人为基础，结合人工智能技术、传感器技术，设计技术方案 采用无刷直流电机（）构建 套 电系统，作为自动驾驶技术的研究平台；使用“感知 决策 控制”方式作为自动驾驶平台架构，应用单目相机作为视觉传感器；自建道路行驶图像与指示标志目标检测数据集。依据林场巡检的实际需要及设计的技术路线，设计了一款以神经网络技术为基础，使用单目相机作为传感器的自动视觉引导驾驶的林场巡检机器人；旨在为为提高林场巡检效率提供参考。研究方法 林场巡检机器人的整体设计本研究以传统移动机器人为基础，结合人工智能技术、传感器技术等，设计一款使用神经网络技术具备视觉感知能力的可自主运行的轮式林场巡检机器人（见图 ）。图 轮式林场巡检机器人的设计技术路线 机器人的硬件设计 系统功能设计根据移动机器人的使用环境场合确定设计需求，需实现特定环境可重复运行，针对固定场所内固定路线的自主行驶。依据机器人整体控制原理（见图 ），整体控制流程分为两部分，分别为决策层与执行层。决策层硬件，主要为决策运算计算机，通过部署神经网络以及相应的算法程序，实现对机器行为决策功能；同时，该决策运算计算机负责将运算结果作为机器的上位控制信号产生并发出给执行层。而执行层使用了无刷直流电机驱动模块，负责驱动电机执行上层命令。计算机使用集成电路总线与控制信号转换模块进行通信，由控制信号转换模块生成脉冲调宽模拟信号，与无刷直流电机驱动模块通信。图 机器整体控制框图 总体机器动力组件设计本研究设计在移动机构上使用轮式驱动方案作为可移动机器人的执行机构，具体使用无刷直流电动机作为动力驱动执行部件；通过电芯选型、组合焊接、外壳封装等过程，自行设计并组装构建了机器的供电系统。供电系统使用锂聚合物电池（）作为能量来源，电芯额定电压为 ，电压范围为 ；锂聚合物软包电芯，具有能量密度高、轻量化、放电能力强等特点。电池组设计标准电压为 ，放电倍率为 倍，电芯组合排列方式为单排排列（见图），串 并结构（）。图 电池组电芯组合排列方式由于多个锂电芯在一致性方面无法做到完全一致，其容量、内阻等指标均具有细微的差距。因此，在组装锂电池组时，不仅在单片电芯的挑选方面要求一致性高，且需要引入一种电池智能保护电路，为电池组的安全使用提供保障。本研究设计电池组安装了 块锂电池保护板，可稳定提供过充、过放、短路等保护，出现问题及时断电。在动力输出单元配置上，在机器中后部左右侧各安装 个无刷直流电动机（），电动机定子作为安装轴心与车架连接固定，转子部分与轮胎融合装配（见图 ），驱动过程无减速器装置，即电动机直驱。机器前部设置了 个无动力万向轮，作为平衡支撑点。整机具体技术参数：动力组件性能技术参数 最大扭矩为 、电动机额定功率为 、最高速度约为 ；能源系统技术参数 电芯类别为锂聚合物（片）、排列结构为 串 并、额定输出电压（直流）约为 、持续放电能力大于 、智能锂电池东北林业大学学报第 卷保护板功能为欠压、短路、过热保护。图 动力执行单元组件装配示意图 机械结构与运动特性设计机器在中后部两侧设计 个相同结构的执行驱动轮，使用内轮毂式电动机作为驱动轮转动的动力，为机器提供动力来源；使用电动机直驱的控制方式，这种方式具有结构简单可靠、控制策略简单的特点。机器框架前部下方装配 个随动万向支撑轮，在结构上仅起支撑随动功能（见图 ）。图 驱动轮示意图根据设计需求，机器主体机械框架采用高分子聚合物材料、聚乳酸、铝合金型材等材质综合制作；在确保机器刚性的前提下，得益于聚合物材料的特性，使框架兼具了一定的韧性；高分子聚合物与铝合金的使用，使结构简单轻巧。机器结构外观约为（长宽 高），主要组件见图 。图 框架各组件示意图运动特性方面得益于 个独立运行的电机，使得机器运动具有灵活转向的特性。机器采用两轮差速驱动方式，通过改变两侧电机转速及其转矩控制行驶方向。这种驱动方式，结构简单、灵活方便、转向半径较小，可实现比传统偏转车轮转向方式更小的转向半径；并可实现原地转向 。由图 可见，前轮偏转转向方式的转向半径为。根据转向形式为前轮偏转的车辆转弯半径公式：、；式中的 为前后车轴的轴距、为左右转向节立轴距、为内导向轮转向偏转角、为外导向轮转向偏转角。图 前轮偏转转向方式半径由图 可见，差速转向方式的转向半径为 。根据转向形式为差速转向的车辆转弯半径公式：（）（）；式中 为内侧轮速、为外侧轮速、为左右轮距。图 差速转向方式半径代入本研究机器底盘参数计算可得，转向方式采用差速转向的转向半径，小于采用前轮偏转方式的转向半径；更有利于机器在狭小复杂的环境中的运行，提高了灵活度。结构设计、仿真及运动学分析方法轮式机器人外观模型见图 ，后驱动轮电机与轮胎融合设计，使用两侧车轮独立的驱动方式。模型场景渲染图见图 。图 外观模型四视图第 期林甄，等：视觉神经网络林场巡检机器人的设计与开发图 轮式机器人外观模型场景渲染图因机器主体框架除底部驱动轮安装架使用金属材质，其上部主要使用聚丙烯作为箱体结构，在后续使用中存在受力形变问题，所以引入零应力分析仿真。使用达索软件对机器人主体框架进行仿真分析（见图 ），在箱体顶部施加压力后在其侧壁上缘率先出现较明显形变。因此在箱体结构设计时，为提高强度，在箱体侧壁安装刚性材料，用作支撑同时在箱体顶部添加横向支撑材料，减少箱体形变的程度，同时保证机器框架的强度。图 机器人主体框架静应力分析仿真结果本研究可移动机器人设计选用轮式驱动方案，其结构为 个驱动轮与 个无动力支撑轮的 结构。这种结构主要特点为：采用驱动轮作为主动轮为机器提供动力，配合无驱动能力的万向支撑轮作为运动结构。由驱动轮的转速差改变运动方向，支撑轮仅起支撑作用。这种结构特点，使得机器可实现较小半径的转向，但无法实现侧向平移运动功能。对于后续研究，了解机器的运动姿态很重要，鉴于此对机器的运动结构展开运动学分析 。图 为本机器的运动学模型，其中 个驱动电机的连线轴与方向轴相连，设 轴心连线的中点为，个驱动电机的角速度分别为、，此时 、；式中的 （）（）、（）（）。主要器件选型本研究设计采用的上位决策控制计算机，使用 公司的微型计算机 ，计算机子型号 与 两种；本研究因神经网络部署在板卡中，需要较大内存做数据处理，故选择使用 型号（内存）作为硬件平台。搭载嵌入式处理器，位 架构；计算机运行由 公司依据 开发的操作系统；系统底层集成了针对 核心板的各类硬件驱动。整体由核心板与载板组成，核心板搭载 颗 核 架构的 ，采用 架构 核处理器，主频为 ，核心板载板具有 、等拓展接口。图 机器运动学模型在感知系统中的相机传感器是视觉感知能力的重要传感器，视觉传感器选型的好坏决定了图像视觉感知的采集频率、视场角、分辨率、数据格式等重要参数。本研究计算机运行 操作系统，系统底层驱动支持（）免驱协议，同时 模组的载板提供 接口，因此无需驱动的 相机是非常好的选择。另外，机器人在运行过程中需尽可能感知较大的视野，视场角大小与视野范围成正比（见图 ），而更大的视野可以带来更多的信息，视野范围与感知能力成正比，所以决定视野范围的镜头视场角参数大小很重要；大的视场角会带来更大的视野范围，同时也会对图像边角区域带来畸变，在保证视野范围的同时图像的畸变需尽可能的小。因此，需要选择一款广角、支持 免驱协议的单目摄像头。综上，本研究选定型号 的单目相机（见表 ）。图 不同镜头的视场角范围东北林业大学学报第 卷表 单目相机主要技术参数技术类别技术参数技术类别技术参数图像传感器 帖速 传感器尺寸 摄像头控制饱和度对比度，锐度图像像素 白平衡自动，手动图像格式 曝光 清晰度 线工作电流 镜头 驱动标准 视场角 工作温度 机器人的软件设计 整体控制逻辑流程设计根据实现过程分类，自动驾驶在技术方案中可分为两大类。其中之一是模块化方案，此类方案依据子模块设计，在传感器 到执行器 的中间过程内搭建了多个独立子模块，例如感知模块、控制模块、规划决策模块等。此类方案设计的特点及优势，主要为其具备可解释性，在中间过程内搭建了具有可解释性的反馈。因此，若在运行中发生故障或报错行为异常的情况，可以识别出发生异常故障的子模块。另一类是依据“端到端”的方案，此类方案是由感知输入到执行输出行为直接映射的方案，即由传感器输入经处理直接反馈对应的行为输出；此类方案一般依据深度神经网络（）技术开发实现，与传统模块化方案相比，得益于神经网络在计算机视觉领域的卓越技术优势，其具有结构简单、无需特征设计及标定、传感器校准等优势；故本研究选用此方案进行自动驾驶方案的设计。决策层软件程序设计本研究机器决策层自主控制程序原理（见图 ）分为两部分：一部分为神经网络训练程序流程，首先进行图像采集，收集较大样本元素组合为数据集；在计算机上部署神经网络框架，将数据集导入框架进行不断迭代学习，进行关键特征的分析学习，将迭代结果提取成关键特征并打包为模型导出。另一部分为实时控制程序流程，设备外设相机采集环境图像，将图像代入图像处理程序进行图像预处理，得到可用于神经网络的图像，并作为神经网络的输入层；而后将处理后的图像与模型进行关键特征对比，得出相似率最大结果，并输出至执行层。图 计算机决策流程图本研究运算核心板中机器学习算法依据卷积神经网络，包含卷积层和全连接层，前者部署 层后者部署 层；外设摄像头实时采集图像处理后，作为神经网络的输入，输出结果为浮点数组，包括经过网络得出的转向角和速度预测值。将采集的图像组成数据集，并在神经网络中进行训练，在经过多次迭代后训练完成输出模型结果。在自主运行的过程中，通过摄像头采集的图像经过预处理后输入卷积神经网络进行模型比对，浮点数结果作成转向角和速度预测值，机器自主运行过程中不断采集当前道路环境图像，神经网络预测转向角度，循环往复，实现端到端自主决策运行功能。电机驱动控制模块控制程序流程设计图 为电机驱动控制模块控制程序流程。机器开机上电，进行故障检测判断，根据外设电路反馈值是否为设定范围，判定电机状态以及有无信号输入；若电机连接出现故障或无信号输入，转入停止保护模式，等待故障排除。若信号输入正常且电机连接正常，进入脉冲调宽模拟信号占空比分析函数，通过 转换与定时器将信号读入单片机中，若油门通道（）、转向通道（）均为中位值，则控制电机刹车；转向通道与油门通道，决定机器的运行速度与方向。图 驱动控制模块控制流程图 神经网络框架设计本文使用 作为机器学习神经网络框架，该框架由 公司团队开发维护，为 深度神经网络打造，可以利用 将深度神经网络部署在不同核心的处理器中。安装时应注意版本对应关系，因为要与其他库配合使用，不匹配的版本会出现兼容问题。如表 为英伟达官方给出的版本产品对照表，根据表格选择 版本框架进行安装。在 环境下，通过 引入 库；输入 （）命令检查版本号输出，成功初始化 功能框架（见图 ），第 期林甄，等：视觉神经网络林场巡检机器人的设计与开发并显示版本号为 ，即成功部署 版本 框架并测试通过。表 版本对照 版本 驱动版本 版本 ，相机驱动设计从自动驾驶实现过程中的端到端控制方案，确定感知输入传感器设备为单目相机，系统底层驱动由 库支持，在环境中使用 工具安装 。在决策程序中需创建相机初始化子函数，用于初始化相机，设计为固定格式图像输入，具体需求为 分辨率图像输入。在输入函数内初始化定义中将图像属性确定。部分程序见图 ，函数输入量为图像宽度、图像高度等属性，导入 库并初始化，等待主程序调用。结果与分析 机器人的机器学习过程由本研究确定的设计方案，机器学习方式使用神经网络技术实现。而神经网络进行训练迭代的过程，是通过神经网络拟合数据集样本映射关系层层优化的过程，对于训练得出的特征模型效果使用损失函数对拟合误差进行量化表示。本研究共设置 类道路作为测试场地，分别为自行构建的具有显著标志线简易环形道路与无标志线社区环境道路、林场环境道路（见图 ）、公路。初期在自建环境示教并采集数据集，用于测试机器基础功能是否可以正常实现，尝试实验从大量数据中学习提取到的行为特征方案的可行性。图 环境测试 图 子函数部分代码截图（）数据集制作。首先部署好机器硬件部分，连接电源上电启动计算机平台。等待初始化相机传感器，初始化集成电路总线设备等。设置相机采集图像属性，测试各系统工作是否正常，测试手动控制与紧急制动是否正常。进入控制台界面（见图 ），查看相机传感器图像是否正常，调节前进速率值、控制模式，随后进入采集图像步骤，开始制作数据集。人工操纵机器在环境中行驶示教，并实时采集图像、东北林业大学学报第 卷前进量、转向量 个属性，记录并保存在数据文件夹中。在自建环境道路中共收集 份样本，将其整理并打包作为数据集初始数据（见图 ）。图 林场环境道路（）数据集清洗。组数据集样本中，存在类别不同的样本，不同类别的样本在数量上具有较大差距的现象，称为样本类分布不均衡现象。而这种现象在后续训练过程中，会导致神经网络在学习过程中，重点学习样本数量较大的样本特征，而对于样本数量较少的特征将难以学习。数据集样本中还会存在错误样本，这会导致神经网络在学习过程中与正常样本相矛盾，所以保证样本的正确性在数据集制作中非常重要。由于类似现象均会给模型准确率带来较大影响，因此需要对数据集中不良数据进行清洗，人工将错误样本在数据集中剔除，同时在数据收集过程中注重样本类别的均衡性，保证数据集样本的均衡性与正确性。图 移动机器人操控平台界面图 自建环境道路数据集（）应用损失函数对训练过程的优化。损失函数的作用是使用函数衡量当前训练迭代结果的好坏程度。损失函数值越大，模型效果越差；即损失值越大，其预测值与真实值差距越大，模型效果越差。正常的训练过程是不断迭代以优化模型，而正常的迭代过程中损失函数应逐渐降低，最终趋于稳定时得到最终结果。神经网络输出模型结果的准确度或训练效果的好坏，常根据损失值的大小判断，而最终模第 期林甄，等：视觉神经网络林场巡检机器人的设计与开发型的损失值直接影响着模型的准确度，所以为了得到一个尽可能准确的模型，需要不断的对训练过程进行优化。（）数据集训练过程。在数据集准备就绪后，便可以进行行为特征的学习。首先将数据集放入文件夹，将数据集路径引入神经网络，训练时数据集作为神经网络的输入量开始训练。框架首先加载组件文件与依赖项（见图 ），初始化硬件，根据路径寻找数据集输入。在 这 里 使 用 的 训 练 硬 件 为 显卡，显存。输入量为数据集中图片（），网络结构参数（见图 ）包含 个卷积层、个输出前的密集层；输出为 个具有 个标量输出的密集层，每个都可用于转向和油门控制，以模型文件的形式保存在指定路径。模型迭代过程（见图 ），其中迭代项为迭代的次数，共计 次。次迭代可以理解为：向网络中送入所有数据，完成了 次训练计算与反向验证的过程。其中损失函数值在不断迭代的过程中处于变小的状态。图 使用 训练初始化（型号使用红框圈出）图 神经网络结构以及参数分布（）训练结果。将迭代过程的信息统计，整理成模型损失曲线，随着迭代数量的增加、训练迭代的进行，损失曲线从最初的不拟合状态，开始逐渐进入优化拟合状态，最终进入过拟合状态并停止训练。机器人的实际道路测试结果初始化机器人，对各组件进行检查测试后，进入终端开启进程，检查蓝牙连接，切换手动模式测试急停切换功能是否正常。解析框架加载过程见图 。手动操控机器人进入工作区域，查看神经网络初始化，进行模型推理进程，开启自动驾驶模型运行，检测运行效果（见表 ）。在不同特性的不同环境道路行驶测试中，其中东北林业大学学报第 卷主要包括简易环形赛道、社区内部道路环境、林场环境、公路环境。根据表 数据显示，机器在不同环境与不同的光照条件下，均实现了自动驾驶功能。数据集的数据量与行驶效果呈正比关系。图 训练迭代过程图 在机器 平台解析模型过程（嵌入式平台）表 机器人的实际道路测试结果数据行驶区域特性测试条件运行距离错误异常 次简易环形赛道室内（吸顶灯光）圈社区环境室外（太阳光）林场环境室外（太阳光）公路室外（太阳光）结论根据实际道路测试结果，验证了机器驱动执行机构方案与转向结构方案；为移动机器人平台设计构建的无刷直流电动机、电控系统、电池模组均工作正常，完成了机器平台的构建，林场巡检可以使用自动驾驶可移动机器人进行。依据“感知 决策 控制”的端到端方案在实际环境中的测试效果可初步证明，使用简单传感器配合神经网络的视觉方案用于移动机器人自动驾驶中是可行的。传统的移动机器人需要遥控或引导线巡线运行方式，本研究设计的机器人实现了自主运行的功能，具有较高的灵活度。与当前主流的使用多传感器融合自动驾驶方案的移动机器人相比，采用单目相机作为传感器的端到端方案，无需使用繁杂昂贵的传感器便可实现其部分功能，成本大幅降低，同时自主运行移动机器人更简易化。在对视觉引导的移动机器人的设计过程中，显露出以下几个问题，因时间、预算等各方面的原因，尚未深入剖析和解决。（）受限于搭载的计算机性能限制。为保证运行帧数可以达到实时运行标准，数据集图片分辨率设置较低（），需要提高图像的分辨率，将相机采集属性、数据集、神经网络的分辨率提高，从而实现更好的特征学习效果；提高分辨率会使计算量大幅提高，后续使用更好性能的计算机提升硬件计算能力，配合对网络架构算法，进行精简的办法，减少计算压力、提高运行效率，实现更高分辨率的实时运行。（）由于数据集样本数量不足，加上设备性能原因，无法做到对于多场景海量数据的特征学习。（下转 页）第 期林甄，等：视觉神经网络林场巡检机器人的设计与开发 迟文超 鬼伞类真菌几个种的形态及个体发育研究 长春：吉林农业大学，：，：，（）：，（）：，（）：，（）：黄梅 东北地区鬼伞类真菌分类与分子系统学研究 长春：吉林农业大学，邓叔群 中国的真菌 北京：科学出版社，戴芳澜 中国真菌总汇 北京：科学出版社，卯晓岚 中国大型真菌 郑州：河南科学技术出版社，应建浙，臧穆 西南地区大型经济真菌 北京：科学出版社，毕志树，郑国杨，李泰辉 广东大型真菌志 广州：广东科技出版社，张东柱，周文能，王也珍，等 台湾大型真菌 台北：行政院农业委员会，张树庭，卯晓岚 香港蕈菌 香港：中文大学出版社，王静莉 五台山世界文化景观遗产可持续发展研究 北京：中国地质大学（北京），李凤仪 五台山风景名胜区风景特征及寺庙园林理法研究 北京：北京林业大学，张俊波 江西部分地区大型真菌资源调查与系统学研究 南昌：江西农业大学，宋宗平，张明，李泰辉 淡蜡黄鸡油菌：中国食用菌一新记录 食用菌学报，（）：，（）：，：，（）：，：，（）：，（，），（）：，（）：，：，：，胡亚平，张丙乾，张金秀，等 毛头鬼伞子实体化学成分及抗糖尿病活性初探 菌物学报，（）：孙悦迎，卫丞友，雷萍，等 墨汁鬼伞生物学特性研究 食用菌学报，（）：（上接 页）（）环境感知能力较差，普通的相机易受环境光线的干扰；受限于单目相机，对于各项感知数据没有做到具体量化。后续计划采用多组深感双目立体相机，全向部署，作为新的解决方案；在机器学习过程中，引入物体检测（如指示牌、人物等）、语义分割（可行驶区域）等，提高环境感知能力。参考文献 王倩，董枳君，陈茜 无人配送是噱头还是趋势？商学院，（）：，：，（）：任芳 肖军：京东强力发展智慧物流 物流技术与应用，（）：于明涛 智慧物流体系中的无人配送技术：“大数据与智慧物流”连载之八 物流技术与应用，（）：刘旖菲，胡学敏，陈国文，等 视觉感知的端到端自动驾驶运动规划综述 中国图象图形学报，（）：王达阳 视觉循线导航 的动态障碍物检测 沈阳：沈阳工业大学，李贻斌，阮久宏，李彩虹，等 智能车辆的纵向运动控制 机械工程学报，（）：杨学峰，蔡志刚，方明，等 工程机械车辆的转向形式及其特点 建筑机械，（）：解决方案解决技术问题 现代制造，（）：韩信 基于双目视觉的轮式机器人动态避障研究 杭州：浙江大学，第 期武艳群，等：鬼伞属中国新记录种 椰枣色孢鬼伞