视觉定位检测中基于最大信息熵的特征优化方法_韩金彪.pdf

（）年 第 卷 第 期 收稿日期：基金项目：国家自然科学基金项目（）；黔科合重大专项（）作者简介：韩金彪，男，硕士研究生，主要从事智能车环境建模与环境感知研究，-：；通信作者 赵津，男，博士，教授，主要从事无人驾驶、无人机与无人车协同控制研究，-：。本文引用格式：韩金彪，赵津，刘畅，等 视觉定位检测中基于最大信息熵的特征优化方法 重庆理工大学学报（自然科学），（）：，-（），（）：（）视觉定位检测中基于最大信息熵的特征优化方法韩金彪，赵津，刘畅，唐雄（贵州大学 机械工程学院，贵阳 ；贵州大学 现代制造技术教育部重点实验室，贵阳 ）摘要：为了提高移动机器人在未知环境中执行复杂任务的能力，结合最大信息熵概念、同步定位与地图构建（，），提出一种视觉定位与检测系统。以 -检测算法为基础，在均匀分布的前提下，通过寻找单目视觉下具有最优先验信息的特征点，选择具有最大信息熵的前 个特征进行二次优化使其快速收敛，实现高精度定位。为了验证算法的有效性，结合 -目标检测进行实物测试，证明在嵌入式移动设备中可实现实时定位、检测等功能。实验结果表明：所提出算法在 和 数据集上的定位精度均有提升，算法在多场景、多设备下均优于原始算法。关键词：定位；信息熵；目标检测；复杂环境；多平台中图分类号：文献标识码：文章编号：（）引言近年来，随着局部特征点检测算法的快速发展，研究人员提出了许多改进特征检测方式。从最早期的 到 ，再到 、等，各种改进算法如 -、-、-、-、-相继出现，呈现出传统方法和深度学习齐头并进的趋势。年，提出了尺度不变特征变换（，），该特征对旋转、尺度缩放、亮度变化等保持不变性，但由于计算复杂且耗时较大，导致实时性不足。年，研究提出加速测试特征（-，）角点，由于不涉及尺度、梯度等复杂运算，速度非常快，但其缺点是不具有方向性、尺度不变性。年，等 提 出 特 征（），该特征将 的检测方法与 二进制描述子结合起来，在精度和效率方面有了很好的提升，被应用在大量图像检测、特征追踪、定位导航等领域。在深 度 学 习 方 法 中，采 用 卷 积 神 经 网 络书书书（）学习特征点和描述子提取来实现大规模环境下的图像关联，可较大地提升判断误匹配性能，但需要离线图像训练。是在 特征基础上提出的一种轻量型、高效率的特征点，通过优化图像间的描述子进行稳定匹配，能大幅度提高特征点在图像中的均匀性。随着视觉研究方法的逐步成熟，研究趋势正在从特征点提取转向特征点鲁棒性提升。然而，上述多种人工设计特征点虽在稳定性、均匀性和尺度不变性方面进行了改进，但未考虑在均匀分布前提下如何更多地利用每个特征点包含的内在信息。在均匀分布条件下，优先选择具有最大信息熵的特征可以进一步提升鲁棒性和任务导向能力。移动机器人在定位导航时，若处于未知条件则需要对周围环境进行地图构建，为执行高维任务奠定基础。同步定位与地图构建（，）的目标是在没有任何先验信息的情况下，依据传感器数据实时构建周围地图并推测自身位置。仅利用视觉传感器的 称为视觉 。相机具有视觉信息丰富、硬件成本低等优点，在该领域被广泛使用。经典的视 觉 系 统 包 括 基 于 特 征 点 的 -、基于像素的 、结合二者优势的 等。然而，和 都缺乏回环检测模块。当移动机器人运动一段时间后重新回到原点时，会随着时间出现位姿漂移，回环检测模块可以消除产生的位姿漂移，起到减小累计误差的作用。当缺少回环检测模块时，必然会对初始值要求较高，否则会产生较大的累计误差。的优势主要体现在运行速度方面，在精度上不及基于特征点的 -。本文主要对特征点中包含的信息进行研究，实验选择 -。当前，多学科交叉已成为研究热点。信息论、博弈论在如今的深度学习、状态估计中应用十分广泛，合理推断可使机器设备在面对突发情况时做出最优决策，提高系统的鲁棒性。视觉 中，-结合卡尔曼滤波并采用一阶马尔可夫性来处理地图点在三维空间的位置，从而极大程度优化了地图点在 空间中的位置。-针对动态目标提出一种多级别的概率数据关联策略，利用香农熵表示地图点在 空间中的不确定性，但通用性较差。由于实验中仅针对单一物体，在多类别物体中该数据关联方法有待验证。受启发于特征点所包含的信息熵对 系统 鲁棒性的影响。结合信息理论与传统几何 进行探究，对移动设备的定位检测具有重要意义。本文创新点主要包括：在原有提取 特征的 -上添加了 （）线特征检测，增加稳定性；将目标检测 框架 添加至 以实现定位检测功能；结合最大信息熵理念，通过每个特征对最终系统信息矩阵的贡献建立了一种更好的特征选择方法，最大信息熵特征是使最终信息矩阵有最大特征值的集合。三维空间变换 从空间坐标到图像特征考虑携带相机的移动设备（移动机器人、无人车、无人机等）在三维空间中运动，如图 所示。、分别为世界、相机和像素坐标系，展示了世界坐标下 经相机模型转换为像素点 的过程。令空间中某一点为 ，将转换到相机坐标系下得到 为：，（）式中：为 从世界坐标系到相机坐标系下的旋转；为 从世界坐标系到相机坐标系下的平移；，为 在相机坐标系下的欧式坐标。将 投影至相机归一化平面，得到归一化坐标 为：，（）式中：，为相机坐标系的归一化坐标，不考虑相机的畸变情况。根据相机内参模型得到像素坐标为：（）式中：，为空间点的像素坐标；、为相机焦距；为到像素坐标系原点的距离。三维空间刚体运动在时间 下，相机的位置和方向由刚体变换，（）来表示，将 从世界坐标系变换到相机坐标系：，因此相机连续运动过韩金彪，等：视觉定位检测中基于最大信息熵的特征优化方法程中的相对变换可以表示为：，（）在优化过程中需要一个最小化的空间表示方法，因此使用流形空间下李代数 （）的变化对应正切空间下李群 （）的变化。用代数形式 （，）来表示运动增量，其中 表示角速度，表示线速度。最后 通过指数映射转换到正切空间下的李群 （）：（）（）（）上述过程表示了空间中连续刚体运动和空间点到像素点（特征点）之间的变换。图 空间坐标到像素坐标的变换 特征中的信息熵对于具有复杂结构设计的特征点，会在图像中均匀提取以保证图像的高区分度。而 虽然具有很快的提取速度，但易受图像像素梯度影响从而产生“扎堆”现象。近年来，计算机视觉领域中对图像特征的探索更加深入，无论是效率还是精度方面都有很大提升。由于均匀分布仅是更好地利用特征的一个方面，大量研究者往往忽视利用特征执行任务时每个特征所包含的信息熵大小，这里指的是通过视觉来选择好的或者坏的特征点来控制移动设备的任务规划等。首先，根据图像中每个特征提供的信息计算最终系统信息矩阵。，表示空间坐标；，分别表示两帧图像中的像素坐标；，表示连续空间运动的两帧图像；，表示两帧间的变换矩阵；表示调整前的相机位姿。局部特征点对运动轨迹的影响见图 。相机在三维空间连续运动，均匀检测特征的同时提取所包含的信息，包含更多信息的特征最终会影响相机位姿的变化。对于单个特征来说，空间点到特征点的变换由式（）（）给出，表示从相机中心到图像平面的矢量，特征点与现实世界中从相机中心到空间点的矢量共线。对于 -系统，应将状态估计问题从运动学转变为机器人位姿的预测差，如式（）所示。，（）式中：表示机器人运动过程中测量值与实际运动之间的预测差异；表示旋转过程中的扰动变量，由 ，（），得到，分别表示恒速运动模型中机器人位姿的测量值和预测值，二者间的差异由 （）扰动表示；，表示平移过程中的扰动变量。图 局部特征点对运动轨迹的影响接着，对机器人位姿的预测差（即扰动变量）进行全微分公式求导：（，）（?，?）（?，?）（?）（?，?）（?）（）式中：（?，?）（?），（?，?）（?）分别表示对旋转和平移的偏导数。由机器人学中的状态估计 可知：（?，?）（，?）（）（?，?）（?，）（）（）式（）（）表示李群的扰动求导，称为扰动模型。将正切空间中李群的求导转移至流形空间中的李代数求导，用来保证导数的连续性。因此，第 个特征在 时间内的信息熵（贡献值）可表示为：，（），（），|（）（）由机器人学中的状态估计可知，对于由式（）（）参与的系统，最终构建非线性最小二乘方法迭代计算，如式（）所示。（）式中：是信息矩阵，表示每个特征中所包含的信息熵（贡献值）对最终系统信息矩阵的影响；表示该线性方程的增量。单个特征的信息矩阵 由该特征协方差矩阵的逆实现，因此为使单个特征的信息矩阵最大，需要有最小的协方差矩阵，即单个特征的协方差矩阵有最小的矩阵特征值，如式（）和式（）所示。（）（）（）（）求最小特征值时，采用机器学习领域中被广泛应用的奇异值分解算法（-）。该方法分解矩阵速度较快，且矩阵特征值按照从大到小的顺序进行排列，便于系统运算时快速搜索。选取具有最大信息熵的前 个特征参与系统并进行二次优化，以有效地提升系统的精度和鲁棒性。实验验证与分析 实验设备选型为验证所提出定位检测算法的定位精度、检测准确度、鲁棒性和泛化能力，选择实验场景如图所示。其中，图 （）（）为仿真数据集；（）（）（）为现实场景。仿真数据集中，图 （）为 -数据集，（）为 数据集。现实场景中，图 （）为校园场景，（）为室内实验室，（）为室内办公区。设备选型包括：改装的无人驾驶线控车、无人机、手持摄像头的笔记本电脑，如图 所示。图 实验场景选择图 实验设备选型 -数据集由慕尼黑工业大学提供，采用 -相机在不同环境中采集并录制。数据集分辨率为 ，帧率为 （），地面真实轨迹由特殊运动捕捉系统记录。数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。无人驾驶线控车配有全方向 工业单目摄像头。本次实验中选择前向摄像头（），通 过 遥 控 在 校 园 内 行 驶 并 记 录 数 据。无人机是基于 的可开发无人机，控制无人机飞行，利用嵌入式单目摄像头（）采集室内实验室数据。手持的摄像头是罗技 （）单目摄像头，通过在室内工作区移动来记录数据。评价指标说明）均方根误差（）：表示相机位姿变化的误差，描述 个轨迹之间旋转和平移的差异，此处用于评价仿真数据集。（，）（）韩金彪，等：视觉定位检测中基于最大信息熵的特征优化方法式中：表示算法估计的位姿个数；表示特殊运动设备获取的真实位姿；表示算法估计的位姿；，和 ，分别表示相对于真实位姿以及相对于算法估计的刚体变换矩阵。）绝对轨迹误差（）：表示真实测量轨迹和算法估计轨迹之间的差异，用来评价仿真数据集；）鲁棒性：针对不同场景多次运行算法，以完整运行实验为标准，用于评价仿真数据集和真实场景；）运行时间：检测在不同设备下能否以正常相机帧速率（）运行，用于测评仿真数据集和真实场景。实验验证与分析 仿真验证 数据集选择 序列，该序列含有快速的相机运动、图像严重模糊和遮挡等，可用于验证算法鲁棒性。同原始 -、-算法进行对比，为保证实验公平性，此处使用默认参数。选择绝对轨迹误差（）的 作为评估指标，直接比较算法估计值与真实值之间的差异。在 （：）上得到体现。其是一个用来评估里程计和 算法轨迹的平台。实验结果见图 。误差结果见表 。图 改进 -与原始 -的运行轨迹和精度表 数据集 种方法进行多指标误差分析误差指标 -改进 -分别对实时检测、运行轨迹和误差分析等指标进行验证。图（）为改进 -，组合线特征、最大信息熵特征的实时运行状态。图像中位置相邻、像素梯度方向相近且亮度变化明显的点集构成了图像中的线特征。与点特征相比，线特征受环境中纹理缺失影响较小，可以提取足够多的关键点。故将线特征结合到 -以提高其定位精度。在运行过程中打开一个新线程来并行提取这些特征，与逐步提取点和直线特征相比，发现进一步提高了系统的稳定性。图（）是结合 目标检测算法的实时运行状态，二者实现了帧速率同步（），如图所示。图 定位与检测时间偏差定位与检测的时间偏差如图 所示。最上部表示定位时的频率，下面依次表示结合 各版本时所产生的时间偏差，且。文中所使用的 目标检测算法与 相比，其综合性能明显提升，预测精度和速度也进一步提高。在速度上虽不及 ，但在准确度指标上两者相近。由于所采用的数据集帧率在 帧左右，在考虑计算资源的前提下优先选择 。图 （）与（），（）与（）分别表示改进 -与原始 -的运行轨迹和误差。图 （）与（）中实线表示估计轨迹，虚线表示实际轨迹，颜色越红表示估计轨迹误差越大。可以发现，改进方法在相机快速旋转时几乎与真实轨迹重合，旋转和平移误差都远小于原始方法，证明了算法精度。如表 所示，分别验证 项误差指标。在 （与真实轨迹的对比）上，改进 -相比原始 -精度提升了 ，相比 -精度提升了 ，且 均值误差相较于前种方法分别降低 和 ，体现了改进 -算法的稳定性。由于最大信息熵特征的二次优化，使得系统容错率提升，因此可以在更复杂的环境下运行，并在一定程度上提升泛化能力。数据集选择 ，和 ，该序列具有超长轨迹和回环，同时包含大量行人、车辆等，可用于验证算法精度。同原始 -、-算法进行对比，实验结果如图 所示，误差结果如表 所示。图 展 示 了 在 数 据 集 上 的 -、-和改进算法的轨迹。黑色虚线代表 ，蓝色、绿色和红色线条分别代表 -、-和改进算法。韩金彪，等：视觉定位检测中基于最大信息熵的特征优化方法图 -、-和改进算法在 数据集上的轨迹表 数据集定位误差 -改进 -改进算法在 模式下对大多数 序列具有良好的准确性和鲁棒性。并未如同 -数据集精度明显提升的主要原因是 -本身具有回环纠正模块，当回到先前经过的位置时会进行全局位姿纠正。此外，数据集 验证数据由图 展示定位检测框架的实时运行状态。图（）中，蓝线表示线特征，绿点表示点特征，青色方框表示系统提取具有最大信息熵的特征。（）（）实现实时定位检测。图 数据集下实时定位检测框架示意图 现实场景验证）校内路面实验：通过遥控无人驾驶线控车按规定路线进行在线算法测试，整个过程中检测稳定且定位精准。实验过程中需关注 个问题：一是由于存在车身晃动、快速转弯以及场景变化，定位是否会丢失；二是 占用率情况。实验中同时进行定位与检测，工控机端监测 占用率为 ，证明该框架同样可以在其他嵌入式设备上运行。实验场景如图 所示。图 校内可行使区域执行定位检测算法实验场景）室内办公区实验：采用笔记本外接罗技 摄像头在室内办公区域进行实验，算法要面对大量结构化场景、白色墙面且灯光剧烈变化。由图 可知，算法可稳定实现定位检测。笔记本配置为 -（），占用率为 。图 室内办公区域执行定位检测算法实验场景）室内实验室实验：控制 无人机在实验室内飞行，需要面对无人机的快速旋转和抖动。实验中，将笔记本与无人机分为服务器端与客户端，分别执行定位与检测功能。受限于无人机的处理能力，检测过程中出现误检，且存在一定程度的图像丢帧现象，但在整体上完成实验，后期会针对算法效率和实时传输进行改进。实验场景如图 所示。图 室内实验室区域执行定位检测算法实验场景照片 结论基于最大信息熵特征提出一种通用的单目视觉定位检测框架，结合信息理论选择具有最大信息熵的视觉特征点进行二次优化。在任务导向中提升系统整体的鲁棒性和实时性，同时紧耦合 -目标检测算法进一步完善系统功能和执行任务的能力。在采用数据集仿真验证和现实场景测试中，其精度和鲁棒性均优于原始算法。在多个嵌入式设备中进行验证，结果表明改进后的框架在多平台中能稳定运行。该框架对现有的单一功能进行了拓展，下一步将结合多学科和深度学习领域的语义知识来拓展机器人在未知、复杂环境下的任务导向能力。参考文献：-：，：-：，：，：-：，：，-：-（）韩金彪，等：视觉定位检测中基于最大信息熵的特征优化方法 ：，：-，-：，（）：-，-：-，-，（）：，（）：，：-，（）：，-：-：，：，：，：张洪，于源卓，邱晓天 基于改进关键帧选择的 -算法研究 北京航空航天大学学报，（）：，：，（）：，方娟，方振虎 基于目标检测网络的动态场景下视觉 优化 北京工业大学学报，（）：赖坤城，赵津，王超，等 改进 -算法在低光道路环境下行人检测研究 重庆理工大学学报（自然科学），（）：夏英，黄秉坤 采用改进 的高分辨率遥感图像目标检测 重庆邮电大学学报（自然科学版），（）：李世裴，李春琳，韩家哺，等 面向机器人抓取的双目视觉单步多目标检测方法应用研究 重庆工商大学学报（自然科学版），（）：-：，（，；，）：，（）-，-，-，-，：；-（责任编辑杨黎丽）