基于边缘关联点云的激光雷达与相机外参标定方法.pdf

收稿日期：；修回日期：基金项目：国家电网公司总部科技项目（）；重庆市技术创新与应用发展重点项目（）；重庆英才计划资助项目（）；重庆理工大学科研启动基金资助项目（）作者简介：冯欣（），女，重庆人，副教授，硕导，博士，主要研究方向为机器视觉、图像 视频处理；李杰（），男，四川广安人，硕士，主要研究方向为点云处理；余崇圣（），男，广西玉林人，博士，主要研究方向为多传感器数据融合；钱基业（），男，四川遂宁人，博士，主要研究方向为激光雷达电力巡线；何颖（），男（通信作者），重庆人，讲师，硕导，博士，主要研究方向为多传感器数据融合、机器人导航（）基于边缘关联点云的激光雷达与相机外参标定方法冯欣，李杰，余崇圣，钱基业，何颖，（重庆理工大学 计算机与工程学院，重庆 ；中国科学院重庆绿色智能技术研究院，重庆 ；重庆知至科技有限公司，重庆 ；国网重庆市电力公司电力科学研究院，重庆 ）摘要：激光雷达的点云和相机的图像经常被融合应用在多个领域。准确的外参标定是融合两者信息的前提。点云特征提取是外参标定的关键步骤。但是点云的低分辨率和低质量会影响标定结果的精度。针对这些问题，提出一种基于边缘关联点云的激光雷达与相机外参标定方法。首先，利用双回波提取标定板边缘关联点云；然后，通过优化方法从边缘关联点云中提取出与实际标定板尺寸大小兼容的标定板角点；最后，将点云中角点和图像中角点匹配。用多点透视方法求解激光雷达与相机之间的外参。实验结果表明，该方法的重投影误差为 ，低于同类对比方法，验证了该方法的有效性与准确性。关键词：特征提取；外参标定；双回波中图分类号：文献标志码：文章编号：（）：，（，；，；，；，）：，：；引言激光雷达和相机被广泛应用在自动驾驶、高精建图、三维重建、电力巡线、目标检测等领域 。激光雷达能够获取高精度的三维信息，不易受光照和天气等因素影响，抗干扰性强，但分辨率低，没有色彩信息 。相机能提供高分辨率的色彩信息 ，但抗干扰性弱，易受光照影响。激光雷达和相机的互补性很强，融合两者的数据，可以获取更丰富的信息 ，。进行数据融合的前提是需要通过外参标定求解激光雷达坐标系相对于相机坐标系的旋转矩阵和平移向量。外部参数是旋转矩阵和平移向量的统称，简称外参。激光雷达与相机的外参标定方法一般可以分为无目标的标定方法和基于目标的标定方法两种。无目标的标定方法通常不需要特定的标定物，而是依靠自然场景下普遍存在的平面和边缘等特征进行外参标定。等人 通过最大化激光雷达坐标系下三维点的反射强度与其在图像投影点的灰度值之间的互信息建立目标函数，使用 算法求解外参。等人 利用自然场景下的三面体特征进行外参标定，该方法在低线束的激光雷达所采集的稀疏点云上效果不佳。等人 通过提取点云的反射强度图和深度图中的边缘，与图像的灰度图中边缘匹配，通过 （）求解最佳外参。等人 分析了激光束发散角对于边缘特征提取的影响，提出了一种获取点云连续边缘的方法，通过连续边缘特征构建约束方程求解外参。由于自然场景差异巨大，平面和边缘等特征的质量难以控制，导致无目标的外参标定方法的精度也难以保证。基于目标的标定方法是提取特定标定物的特征进行外参第 卷第 期 年 月计 算 机 应 用 研 究 标定。这些标定物通常是具有明显几何特征且制作精度高的物体，例如棋盘格标定板、三角板、圆球等。覃兴胜等人 通过 变换提取点云中矩形标定板边缘，计算边缘交点获取标定板的角点，与图像中角点匹配，优化求解外参。等人 利用平面和边缘特征构建约束，只需要一个标定板姿态便可求解外参。等人 提出一种从矩形标定板点云中估计标定板角点的优化方法，通过标定板角点优化求解外参。等人 提出一种基于强度信息的棋盘格标定板角点提取方法，通过角点特征优化求解外参。等人 通过 （）方法拟合点云中三角板的平面和边缘特征，以获取三角板的角点特征，通过角点优化求解外参。等人 利用球体的球心建立对应关系求解外参。等人 自制了带有四个圆洞的标定板，通过提取深度不连续点获取圆洞点云，然后拟合出点云中四个圆洞的圆心，与图像中圆心匹配求解外参。由于标定板的制作精度高且易于提取特征，故与无目标方法相比，基于目标的标定方法精度更高。从上述方法可以看出，点云特征提取是外参标定关键的一环，特征提取的准确程度会直接影响外参标定结果。其中，边缘特征被经常应用在外参标定任务中。由于激光发散角会使边缘点云出现局部膨胀问题，导致从点云中提取的边缘特征质量无法保证，从而影响外参标定精度。所以，本文围绕上述问题展开研究，提出一种基于边缘关联点云的激光雷达与相机外参标定方法。通过双回波提取边缘关联点云，从边缘关联点云中提取准确的角点特征，基于角点特征优化求解外参，提高外参标定精度。双回波激光雷达通过发射激光对周围环境进行扫描，接收从物体上返回的激光，通过计算激光的往返时间产生点云信息，如图所示。一般称返回的激光为回波。正常情况下，一根激光束只会产生一个回波。但是，激光束在前景边缘会产生双回波。如图 （）所示，激光雷达发射激光束 ，由于激光束本身存在发散角，导致激光束 落在物体上是一个面，使激光束 在前景边缘被一分为二，分别落在前景边缘和背景，产生了双回波。图 激光雷达通过接收回波产生点云 边缘局部膨胀对于双回波的处理是由激光雷达的工作模式所决定。单回波模式是大多数激光雷达的默认工作模式，若激光雷达使用单回波模式，即只接收双回波中反射强度最大的回波 ，会出现边缘局部膨胀问题 。原因如下：如图 （）所示，激光束 产生了双回波且中心线落在背景上，若前景的反射强度大于背景，单回波模式会选择保留前景边缘的回波，产生一个前景边缘点。由于中心线并不在前景上，所以该边缘点是一个边缘膨胀点。由于材质、反射角度等干扰原因，导致前景与背景之间反射强度的相对大小关系不确定，造成单回波模式只会接收到一部分边缘膨胀点。所以，单回波模式输出的点云会出现前景边缘局部膨胀问题，边缘呈凹凸不平的状态，如图 （）所示。边缘整体膨胀边缘局部膨胀是单回波模式在接收双回波时对膨胀点的部分保存所造成的，且局部膨胀的程度随机性大，使外参标定任务中特征提取步骤的准确性无法保证。为了解决边缘局部膨胀引起的边缘点云质量下降问题，本文选择使用激光雷达的双回波模式接收回波信息，将局部边缘膨胀转变成边缘整体膨胀，使边缘变得平整，保证了边缘点云质量，如图 （）所示。具体原因如下：如图 所示，将单回波模式和双回波模式获取的同一物体点云叠加在一起，可以发现双回波模式的点云向外扩展了一圈。这是因为与单回波模式相比，当产生双回波时，双回波模式不会根据反射强度大小接收回波，而是将双回波统统接收 。这种回波接收方式会使激光雷达接收所有前景的回波，其中包括了所有前景边缘膨胀处的回波。所以，图 中向外扩展的一圈点云是双回波模式接收了单回波模式没有接收到的膨胀点，从而将局部边缘膨胀转变成整体边缘膨胀，使边缘变得平整。图 激光束因发散角产生双回波示意图 基于双回波的边缘关联点云提取算法当产生双回波时，前景边缘的回波可以产生两种边缘点，分别是存在于前景上的正常点和不存在于前景上的膨胀点，如图 所示。由于这两种边缘点是双回波的产物，都与边缘有关联，所以本文将这两种边缘点定义为边缘关联点，它们的点集为边缘关联点云。图 叠加两种模式的点云 图 通过双回波提取边缘关联点云示意图 从图 可以看出，当激光束落在前景边缘产生双回波时，边缘关联点一定比背景点距离激光雷达更近，所以本文在选择使用双回波模式提升边缘质量的同时，提出一种基于双回波的边缘关联点云提取算法，算法如下：算法 基于双回波的边缘关联点云提取算法输入：双回波模式接收的双回波。计 算 机 应 用 研 究 第 卷输出：边缘关联点云 。初始化边缘关联点云 。执行后转步骤 ）。遍历双回波，定义双回波产生的三维点为 和。执行后转步骤 ）。）若 ，令 ；若 ，令 ；执行后转步骤 ）保留双回波中距离激光雷达最近的点为边缘关联点 ）若遍历没有结束，继续转步骤 ）；若遍历完成，转步骤 ）。）算法结束。基于边缘关联点云的外参标定方法 外参标定原理外参标定是分别从点云和图像中提取对应特征坐标，根据对应特征坐标建立约束方程，优化求解外参的过程。本方法是基于目标的外参标定方法，原理如图 所示。由于矩形板的角点特征明显，所以使用一块矩形板作为标定物。定义激光雷达坐标系为 ，相机坐标系为 。矩形标定板的四个角点在激光雷达坐标系中表示为（，），在相机坐标系中表示为（，），在像素坐标系中表示为（，）。它们之间的转换关系为 （）其中：为比例系数；为已知的相机内参；为 的旋转矩阵；为 的平移向量；（，）是待求的外参。对于提取图像中标定板角点，现有方法可以准确实现。对于提取点云中标定板角点，一般是先拟合边缘直线，然后求解交点。由于在 节提到标定板点云的边缘处存在局部膨胀问题，导致传统根据深度不连续提取边缘特征的方法精度降低 ，故所提外参标定方法选择使用激光雷达的双回波模式改善标定板的边缘点云质量，从标定板点云中提取边缘关联点云，通过边缘关联点云估计角点 ，并与图像中角点 匹配。根据式（）得到点云中角点 在像素坐标系中的投影点，最小化投影点与图像中角点 之间的欧氏距离求解最优外参（，）。图 外参标定原理图 提取标定板边缘关联点云机械激光雷达通过在垂直方向上发射一列激光束，依靠内部 的水平旋转，实现对周围环境的三维扫描，如图 所示。如果激光雷达本体不动，这种重复性扫描方式始终只能扫描标定板的固定边缘区域，造成可获取的边缘关联点云较少。为了充分发挥双回波获取边缘关联点云的优势，本文通过转轴增加激光雷达的扫描区域以获取更多边缘关联点云。图 机械激光雷达的重复性扫描 转轴与激光雷达组合系统原理如图 所示。将激光雷达放置在转轴上，通过电机带动转轴水平旋转，间接改变激光雷达扫描方向。激光雷达的坐标系为 ，随着转轴的转动，坐标系 会随之发生旋转，导致激光雷达采集的每一帧点云不处于同一坐标系中，所以需要将每帧点云都投影至转轴坐标系 中，具体步骤如下：首先，由于安装误差的存在，导致激光雷达坐标系的 轴没有与转轴坐标系 轴对齐，所以本文通过转轴标定方法 ，进行校准，获取旋转矩阵；然后，由于激光雷达中心与转轴中心的距离 已知，可以得到每帧点云所处的坐标系 与 转 轴 坐 标 系 之 间 的 平 移 向 量 。其次，通过电机记录的每一时刻的转轴旋转角度得到每帧点云所处的坐标系 与转轴坐标系 之间的旋转矩阵；最终，通过式（）将每帧点云中的三维点（，）投影至转轴坐标系中。（）（）图 激光雷达与转轴组合结构 将每帧点云对齐至转轴坐标系 后，将多帧点云叠加，得到稠密的标定板点云 ，通过 节提出的基于双回波的边缘关联点云提取算法提取边缘关联点云 。由于激光雷达本身存在测量误差，导致边缘关联点云 不处于同一平面上，如图 所示。所以对标定板点云 使用 方法拟合出最佳平面，通过下式将边缘关联点云 投影至同一平面。图 点云存在测量误差 第 期冯欣，等：基于边缘关联点云的激光雷达与相机外参标定方法 ，（）其中：由式（）定义；（，）是 方法拟合出的平面参数。（）（）提取角点特征 基于边缘关联点云的角点提取方法由于边缘关联点云 由正常边缘点和膨胀点组成，所以标定板边缘实际上被边缘关联点云 包裹，如图所示。基于上述特性，本文提出一种非线性优化方法从边缘关联点云 中提取与标定板尺寸大小兼容的角点。图 从边缘关联点云中估计角点示意图 如图 所示，在激光雷达坐标系下构建一个尺寸大小与实际标定板相同的参考标定板，参考标定板的标定板角点为（，），边缘直线为 。定义边缘关联点云为 ，其中 表示边缘关联点云中三维点的个数。边缘关联点云 与参考标定板之间的刚体变换为 ，其中 表示 的旋转矩阵；表示 的平移向量。边缘关联点云 被刚体变换 投影至参考标定板的投影点云为 （）若刚体变换 已知，那么投影点云 将会与边缘关联点云具有一样特性，即包裹着参考标定板的边缘 。故以投影点云 与边缘 之间的欧氏距离为代价建立代价函数 ：（，）（）其中：由式（）定义，表示投影边缘点 到参考标定板边缘 的最小距离；（，）表示投影边缘点 到参考标定板边缘直线 的欧氏距离。（，），（，），（，），（，）（）通过 （）算法迭代优化式（），得到最优的刚体变换槇。槇 ，（，）（）在获取参考标定板与边缘关联点云间最优刚体变换槇后，通过式（）将参考标定板的角点的（，）投影至边缘关联点云 中，最终提取点云中的角点（，）。（槇）（）提取图像中 角点现有方法可以准确地提取图像中标定板角点，例如边缘检测方法 或者角点检测方法 。本文使用 （）算法 检测图中标定板的边缘，根据边缘直线交点得到图像中标定板角点（，），如图 所示。图 通过 算法估计图像中角点示意图 外参求解获取点云中标定板角点（，）和图像中标定板角点（，）后，外参求解问题转换为标准的 （）问题 。根据式（）将点云中标定板角点 投影至像素坐标系，定义投影后的 投影点为 ，（）通过 算法最小化 投影点 与图像中 角点 之间的欧氏距离：（，），（）最终得到激光雷达与相机之间外参（，）。实验与分析实验使用传感器为 激光雷达和 相机，其中激光雷达固定在转轴上。传感器参数如表 和 所示，转轴参数如表 所示。表 激光雷达参数 参数数值参数数值测距范围 激光束垂直分辨率 测距误差 激光束水平分辨率 垂直视角 激光束垂直发散角 水平视角 激光束水平发散角 表 相机参数 参数数值分辨率 焦距 表 转轴参数 参数数值参数数值旋转速度 旋转角误差 时间戳误差 实验使用棋盘格标定板，每个方格边长为 。实验场景如图 所示，放置标定板在激光雷达和相机的共视区域。实验中需要使标定板与背景之间的距离大于 ，其原因是 激光雷达只能保留前景与背景距离 以上的双回波 。）实验数据采集将标定板放置在场景中 个不同位置，然后使用激光雷达和相机获取 组数据。每组数据包含一张图像和一份标定板点云。因为一个标定板有 个角点，所以每组数据可以提供对角点特征。）评价指标计 算 机 应 用 研 究 第 卷角点重投影误差可以评估外参标定精度 ，角点重投影误差越低，代表外参标定精度越高。因此，以角点重投影误差为评估指标，由式（）定义。槡（）其中：由式（）得到，表示通过计算出的外参将点云中角点投影到像素坐标系的投影点；是像素坐标系下标定板真实角点坐标；为角点个数。）对比实验本文选择与基于边缘点云的方法 ，、基于标定板点云的方法 ，进行重投影误差对比。下文将文献 记为 ，文献 记为 ，文献 记为 ，文献 记为 。由于这些方法使用的是单回波模式获取的点云。为了公平性，将双回波点云数据处理为单回波模式下的点云数据，即只保留双回波信息中反射强度最大的回波 。实验如下：将采集的 组数据分为训练集和验证集两个部分。其中，训练集与验证集各有 组数据。首先，在训练集中选取 组数据，使用本文方法计算外参；然后，在验证集上使用本文方法获取点云和图像中角点；最后，通过重投影误差式（），将训练集得到的外参应用在验证集上计算角点重投影误差。按上述过程类似的计算其他外参标定方法的重投影误差。设置训练数据组数 为 ，得到如表 所示的实验结果。表 对比实验结果 方法组组组组组组组组组 组 本文方法 从表 看出，本文方法的重投影误差低于其他方法。图 为表 的折线图形式，可以看出所有方法的重投影误差皆会随着训练数据的增加而下降，当训练数据达到一定数量后，误差会趋于平稳。图 实验场景示意图 图 重投影误差结果 从总体上看，本文方法得到的外参精度优于其他对比方法，原因如下：基于边缘点云的方法 ，受边缘部分膨胀问题的影响，导致获取的边缘点云质量不一，存在较大误差，使得外参标定精度不稳定。基于标定板点云的外参标定方法 ，是通过整个标定板点云估计角点，而标定板点云存在噪声，一定程度上降低了外参标定精度。本文方法在考虑到边缘局部膨胀的基础上，通过双回波提取边缘关联点云估计角点，得到与标定板尺寸一致的角点特征，所以外参标定精度更高。）点云投影与点云着色为了更直观地展示本文方法的外参标定效果，将 帧包含棋盘格标定板的点云投影至图像。投影结果如图 所示。可以看出激光扫描线的间断点与标定板边缘重合，展现了外参标定结果的准确性。使用本文方法计算的外参进行点云着色，结果如图 所示。通过棋盘格标定板与白色圆球可以看出，图像的像素点可以准确为三维点云赋予纹理信息，再次展现了外参标定结果的准确性。结束语本文提出了一种利用双回波信息的激光雷达和相机外参标定方法，将双回波信息加入到外参标定任务中，利用双回波提取边缘关联点云；围绕边缘关联点云特性设计角点提取方法，得到与实际标定板尺寸大小兼容的标定板角点。本文方法无须设计特定的标定板，实验结果精度优于同类对比方法，点云投影与点云着色的结果也展现了本方法的准确性。但本方法仍有需要改进的地方，比如将激光雷达内部的运动信息、反射强度等信息加入到标定模型。图 点云投影 图 点云着色 参考文献：胡丹丹，于沛然，岳凤发 面向室内退化环境的多传感器建图方法 计算机应用研究，（）：（，（）：），：，（）：，（）：，（）：，：，（）：，：，：，：，：，：，：，：，第 期冯欣，等：基于边缘关联点云的激光雷达与相机外参标定方法 ，：危双丰，汤念，黄帅，等 基于建筑物轮廓的地面激光点云与影像匹配点云配准研究 计算机应用研究，（）：（，（）：），：，：，（）：，：，：，：，（）：覃兴胜，李晓欢，唐欣，等 基于标定板关键点的激光雷达与相机外参标定方法 激光与光电子学进展，（）：（，（）：），：，：，：，：（）：，：，：，：，（）：（）：，（）：陈方圆，余崇圣，李梦，等 一种自旋转激光雷达及其旋转 轴标定方 法：（，：），：，：，：，：，：，：，：，（）：何颖，马戎，李岁劳，等 变量投影框架下基于 问题的多点透视问题求解算法 光学学报，（）：（，（）：）（上接第 页）陈仁康，李泽平，林川，等 基于电量状态的移动流媒体码率自适应策略 计算机工程与设计，（）：（，（）：），：，（）：，：，：，：，（）：王烽，李泽平，林川，等 基于随机森林的带宽预测算法研究与实现 计算机工程与设计，（）：（，（）：），：，（）：，：，（）：，：，：，：，：（）：计 算 机 应 用 研 究 第 卷