受电弓滑板轮廓检测中多视觉传感器全局标定方法研究.pdf

第 43 卷第 4 期2023 年 8 月铁 道 机 车 车 辆RAILWAY LOCOMOTIVE&CARVol.43 No.42023Aug.受电弓滑板轮廓检测中多视觉传感器全局标定方法研究伍川辉1，任继炜1，廖家1，李恒奎2，杨岗1（1 西南交通大学 机械工程学院，成都 610031；2 中车青岛四方机车车辆股份有限公司，山东青岛 266111）摘 要 针对受电弓滑板轮廓检测中，碳滑板横向空间尺度大、传感器视角交叉的特点，提出一种地面多视觉传感器系统配置方案及二维靶标和三维靶标相结合的标定方法，对检测系统中的多视觉传感器进行全局标定。首先采用二维靶标标定单个视觉传感器，完成单视觉传感器标定后，将三维靶标置于相邻两视觉传感器的交叉视角范围内，通过靶标在不同摄像机视角下三维特征点之间的映射关系，求解相邻摄像机的外部参数。综合所有摄像机的内外部参数、结构光平面方程，建立统一坐标系下的数学标定模型。最后通过三维靶标特征点相对间距和真实距离对比进行试验验证。研究结果表明该方法标定精度较高、可操作性好、结构稳定，能够有效进行滑板轮廓测量工作。关键词 受电弓滑板；三维靶标；多视觉传感器；全局标定中图分类号：U264.3+4 文献标志码：A doi：10.3969/j.issn.1008-7842.2023.04.20近年来，轨道交通领域发展迅速，弓网系统作为列车受流的关键部件，其状态好坏直接影响高速列车在行驶过程中的安全性。高速列车在正常行驶时，位于车厢顶部的受电弓会和接触网线产生摩擦，摩擦效果累积使得碳滑板磨损，当碳滑板磨损过限时，易造成碳滑板与接触线接触不良，严重时会导致列车产生安全隐患1。计算机视觉测量技术作为一种现代化的测量手段，有其固有的优点如精度高、速度快、分辨率高、非接触式等。为了准确掌握受电弓的运行状态，可以采用计算机视觉技术来对弓体的轮廓进行测量，以便获取到弓顶滑板的表面结构。同时从三维空间来看受电弓的长度较大，一般在 2 m 左右，采用传统方法使用一个视觉传感器，其测量视角无法完全覆盖到如此大的横向长度。因此考虑将多组视觉传感器进行空间组合，建立一种多视觉传感器测量系统。这种方法相较于传统方法的优点是可以组合单一视觉传感器的视角，将不同测量视角下的坐标信息融合之后，完成受电弓滑板轮廓全面测量2。在这个过程中随之而来的一个问题是在使用多视觉传感器系统对受电弓滑板表面结构进行扫描测量时，需要考虑不同视角下空间信息的融合。国外视觉传感器组合标定主要是在单视觉传感器标定基础上增加辅助设备，采取将单一视觉传 感 器 与 辅 助 工 具 相 结 合 的 手 段 来 完 成 测 量 任务。传统测量过程中有一些常用工具，比如辅助靶标、平面镜、全站仪等，这些工具又叫辅助工具，其作用就是增加一部分约束，这样求解参数的方程组数量增加，可以精确求解各项参数3-5。高金刚等6提出一种组合标靶球和激光跟踪仪的方法，这种方法可以将各视觉传感器的坐标系变换到以辅助设备建立的统一坐标系下，统一空间信息后完成标定。鲁亚楠等7的方法是添加辅助转台，并且在辅助工具上建立坐标系，当转台转动时可以记录其转动角度，通过此约束结合靶标坐标系来求解各相机位置参数，此方法用于求解环形多相机系统相对位置关系，并且转动台制作成本高，不便于现场标定。天津大学裘祖荣等8为解决大尺寸轧钢表面测量，设计一种特殊靶标，提出利用交文章编号：1008-7842（2023）04-0121-07引用格式：伍川辉,任继炜,廖 家,等.受电弓滑板轮廓检测中多视觉传感器全局标定方法研究J.铁道机车车辆,2023,43(4):121-127.基金项目：国家重点研发计划资助项目（2020YFB1200300ZL)；成都市重点研发支撑计划资助项目(2019-YF05-02685-SN)作者简介：伍川辉（1964-）男，副教授（修回日期：2023-04-22）铁 道 机 车 车 辆第 43 卷 比不变原理获取光平面上多个标定点的特殊传感器 全 局 标 定 方 法，但 其 应 用 场 景 单 一，通 用 性 较差。潘华伟等9对于环绕多摄像机系统提出一种ICP 匹配视图点集的算法，通过在两两摄像机间自由移动模板，计算两摄像机下三维点集的刚体变换，但其计算过程较为复杂，需在初值基础上经多次迭代。综上所述，当前多视觉传感器组合标定中仍有一些不完善的地方，因此文中提出一种采用二维靶标和三维靶标组合方法，对交叉视角的多视觉传感器系统进行标定，探究该标定方法在受电弓滑板轮廓测量中的具体运用，以便于采用该方法解决受电弓滑板轮廓测量中由于横向尺度大而导致的视角测量不完全的问题，完成滑板轮廓高精度扫描测量。1 受电弓滑板轮廓检测系统构建 受电弓滑板轮廓检测系统采用组合多视觉传感器进行滑板表面三维结构测量，测量装置如图 1所示。测量系统由 3 组视觉传感器组成，均安装在一龙门架上并保持测量装置垂直向下。当列车入库时，经由测量系统下方，触发激光传感器开机并进行滑板三位结构扫描。由于受电弓整体尺寸较长，而单台视觉传感器的测量范围无法完全覆盖弓体，综合考虑选择拼接 3 台传感器，扩展测量视角。测量系统开机时激光器保持垂直向下，扫出一道激光线，空间中受到受电弓的结构调制，在表面形成激光条。通过视觉传感器拍到激光光条，将此光条信息输入到计算机中，通过算法来提取到激光条的中心特征点。通过各单独视觉传感器获取到的激光点云数据只能还原部分弓体轮廓，要获取全部受电弓滑板的三维扫描数据，还原完整受电弓滑板轮廓，须将各单视觉传感器的测量数据调整到同一坐标系下，在一个统一的维度中建立全局视角下的测量坐标系。以此模型为基础，在测量时需要结合传感器采集的点云数据以及视觉测量模型，将得到的滑板激光断面方程进行相应的投影变换和坐标换算，即可达到滑板轮廓检测的目标。2 受电弓滑板轮廓检测系统组合标定方法 在受电弓滑板实际扫描测量时，首先需要对视觉传感器标定，即求解标定系统参数。求解方法就是要构建一个能够准确表达测量过程的数学模型，通过数学模型将三维世界坐标与二维图像平面坐标对应关系、各摄像机之间位姿关系具象化、定量化10-11。在视觉传感器标定模型构建中包含 3 个模块：单摄像机标定、光平面标定、摄像机外参标定。在以上模型中摄像机内参指的是摄像机固有参数，摄像机外参指的是随摄像机安装位置变化的参数，光平面参数指的是所采用一定方法拟合光平面后所建立方程的系数，待标定参数矩阵见表 1。建立从三维空间到二维图像之间的映射关系的前提是定义 4 个坐标系：世界坐标系、摄像机坐标系、图像坐标系、像素坐标系。将定义好的坐标系中涉及相关参数列于表 1 中：M 为摄像机透视变换矩阵；矩阵中 为横向尺度因子；为纵向尺度因子；为两轴倾斜因子；u0、v0为图像主点。K 假设为摄像机镜头畸变系数，其中前 2 个元素 k1、k2为径向畸变系数，后 2 个元素 p1、p2为切向畸变系数。M、K 都称之为摄像机内部参数。R 为世界坐标系向摄像机坐标系变换的旋转矩阵，t 为世界坐标系图 1受电弓滑板轮廓测量系统表 1受电弓滑板轮廓检测系统标定参数待标参数摄像机内参摄像机位姿外参结构光平面方程参数矩阵透视变换矩阵M=u00v0001镜头畸变参数K=k1k2p1p2旋转矩阵R=r11r12r13r21r22r23r31r32r33平移矩阵t=txtytz abcd xyz1 T=0122第 4 期受电弓滑板轮廓检测中多视觉传感器全局标定方法研究向摄像机坐标系变换的平移向量，R、t 称之为摄像机外部参数，a b c d 为激光平面待标定系数2。受电弓滑板轮廓检测系统中摄像机组合标定模型如图 2 所示，在水平横梁上以相同间隔安装 3台视觉传感器。要实现受电弓滑板点云数据的精确拼接，需要精确标定视觉传感器测量系统。按照从左到右方向 3 台视觉传感器依次为 1 号、2 号、3 号，3 台摄像机的坐标系为：ocixciycizci(i=1，2，3)。如果假设中摄像机作为全局摄像机，摄像机坐标系oc2xc2yc2zc2则为全局坐标系，其他摄像机位置均统一于这个测量模型的全局坐标系下。在实际物理空间中取任意 2 个空间坐标系，他们之间都可以通过 1 个旋转矩阵和平移向量变换而来。令组左侧摄像机的坐标系oc1xc1yc1zc1和中间全局摄像机坐标系oc2xc2yc2zc2之间刚体变换矩阵为R1，t1，右侧摄像机坐标系oc3xc3yc3zc3与中间全局坐标系oc2xc2yc2zc2之间外部参数为 R2，t2。2.1摄像机内部参数标定当进行空间坐标到图像坐标的变换时，实际上就是在进行摄像机的标定。在这个过程中一般先进行单个摄像机内参标定，因为单摄像机是整体测量系统的最小个体，只有个体标定准确，整体的标定精度和标定结果才能保证。通过建立抽象数学模型，得到空间点和二维图像点之间的对应关系，即可完成摄像机的标定工作。摄像机标定原理如图 3 所示，图 3 体现了各个坐标系变换过程中的实际位置关系。4 个坐标系的表示分别为：世界坐标系：OwXwYwZw；摄像机坐标 系：ocxcyczc；图 像 坐 标 系：ouxuyuzu；像 素 坐 标系：Ouv。理想线性模型中，假设三维空间中存在一物点，其物理坐标为P(Xw，Yw，Zw)，该点在摄像机坐标系下的坐标可以记为P(Xc，Yc，Zc)，在平面图像坐标系下对应的坐标记为p(xu，yu)。对应的齐次坐 标 分 别 为P(Xw，Yw，Zw，1)，P(Xc，Yc，Zc，1)，p(xu，yu，1)。通 过 式（1）建 立 摄 像 机 的 线 性模型12：suv1=u000v000010 r11r12r13txr21r22r23tyr31r33r33tz0001 XwYwZw1（1）可简化为式（2）：suv1=MR，t XwYwZw1（2）式中：s 为比例伸缩因子；M 为相机透视投影变换矩阵；R，t 为旋转平移矩阵。上述变换是摄像机理想成像模型，该模型只是真实摄像机的数学近似。在实际使用中，由于存在各种摄像机镜头畸变和变形，真实摄像机要比模型复杂，需要综合考虑镜头畸变参数，增加符合实际的非线性畸变修正量来构建摄像机非线性数学模型。摄像机的畸变主要分为径向畸变（枕形畸变、桶形畸变）、切向畸变，综合以上几种畸变模型，建立摄像机非线性矫正模型为式（3）：xcor=()k1xpr2+k2xpr4+p1()3xp2+y2p+p2()2xpypycor=()k1ypr2+k2ypr4+p2()xp2+3y2p+p1()2xpyp（3）式 中：r 为 图 像 任 意 点 到 图 像 平 面 主 点 距 离r2=图 2多视觉传感器轮廓测量示意图图 3摄像机标定原理图123铁 道 机 车 车 辆第 43 卷 x2p+y2p；xcor、ycor为畸变后实际图像坐标；xp、yp为理想模型下图像坐标；k1、k2为径向畸变系数；p1、p2为切向畸变系数。将式（3）代入式（2），通过计算可以求解出摄像机非线性模型表式。通过任意方向拍摄大于 3幅靶标图像，通过建立方程组即可求得摄像机内参 M、K，以及对应的 R，t。2.2结构光平面方程系数标定在单视觉传感器测量模型中，进行结构光平面 标 定 前 需 要 对 摄 像 机 做 好 标 定 并 进 行 畸 变 矫正。在实际求解过程中，通常在光平面上取 3 个任意点（不在一直线），那么通过该任意点坐标信息建立方程组求解光平面。激光器将线结构光投射到棋盘格靶标平面上，在摄像机视场范围内沿任意方向移动靶标，摄像机获取移动靶标图像，光条尽量覆盖整个传感器视角。通过平面靶标运动提取光条中心线和棋盘格交点坐标，获取足够的特征点。摄像机内部参数 M、K 通过 2.1 节方法求得，由内参标定原理可知：世界坐标系下光平面特征点 Pw和图像平面特征点 p 的关系为式（4）：sp=MR，tPw=HPw（4）式中：H 为世界坐标系到图像坐标系的单应转换矩阵。根据 2.1 节摄像机非线型变换关系模型可得摄像机坐标系下特征点 Pc和图像坐标系下特征点p 的关系为式（5）：sp=MPc（5）假设激光光平面s上任意 3 个非共线特征点P11、P12、P13，可 以 计 算 平 面s的 单 位 法 向 量ns为式（6）：ns=()P11P12 P11P13P11P12 P11P13（6）设 激 光 平 面 中 任 意 一 点 在 摄 像 机 坐 标 系oc1xc1yc1zc1下坐标为Pc1，已知s中单位法向量ns及坐标P11，根据平面点法式，可确定激光平面s在全局坐标系oc1xc1yc1zc1中的方程为式（7）：ns(Pc1-P11)=0（7）展开上式，可确定平面方程为式（8）：axc1+byc1+czc1+d=0（8）求 解 光 平 面 方 程 时 主 要 采 取 平 面 拟 合 的 方法。具体方法是在平面s上取 3 个（不在一直线）特征点，得到特征点在oc1xc1yc1zc1下的物理坐标。在实验室现场标定时，拍摄多幅图像用来获取远大于 3 的特征点数目建立光平面约束方程。得到结构光平面方程后，每次采集光条图像并提取中心坐标，联立式（4）、式（8），将坐标点代入方程组便可求解其对应的三维世界坐标。2.3摄像机外部参数标定通过前 2 小节的步骤得到了摄像机内参，完成单台摄像机的内参求解。进一步，我们需要标定多视觉传感器外参，通过求解 3 台视觉传感器之间的 坐 标 变 换 关 系 确 定 其 在 三 维 空 间 中 的 相 对 位置，多摄像机标定示意图如图 5 所示。多台摄像机相互之间两两分组，通过三维靶标作为辅助工具进行位置标定。三位靶标的空间尺寸精度较高且可测量得知，将其放在左右传感器都能清晰成像的位置。通过拍摄不同视角下的图像来提取靶标特征点。得到特征点后通过变换关系矩阵计算相应的摄像机坐标。前文可知 2 台摄像机坐标系通过映射统一于全局坐标系下，那么我们可以通过这种关系得出摄像机之间的相对位置。摄像机的针孔关系模型13为式（9）：suv1=r1，r2，r3，t XwYwZw1（9）在三维空间中存在一点P(Xw，Yw，Zw)，左侧摄像机视场下坐标Pc1(xc1，yc1，zc1)，右侧摄像视角下的坐标Pc2(xc2，yc2，zc2)。而世界坐标系和左右 2 台摄像机坐标系之间的旋转矩阵 R1、R2以及平移向量t1、t2已知，那么整理得到方程为式（10）：图 4结构光平面标定原理图124第 4 期受电弓滑板轮廓检测中多视觉传感器全局标定方法研究Pc1=R1P+t1Pc2=R2P+t2 （10）整理可得式（11）：Pc2=(R2R-11)Pc1+(t2-R2R-11t1)（11）将上述 2 方程整理，可知两视觉传感器中摄像机 坐 标 系 下，2 个 空 间 点 之 间 的 转 换 关 系 为式（12）：Pc2=R21Pc1+t21（12）因此可知，从左摄像机到右摄像机旋转矩阵和平移向量分别为式（13）：R21=R2R-11t21=t2-R2R-11t1（13）定义三维靶标在左右 2 台摄像机坐标系下的特 征 点 的 集 合 分 别 是P=p1，p2，pn、Q=q1，q2，qn，通过拍摄三维靶标在左右摄像机融合空间下的光条，提取图像中光条中心线，并在中心线上获取特征点坐标。假设 pi和 qi是 P 和 Q 中特征点坐标组成的列向量，则变换为式（14）14：q=Rp+T（14）式中：R 为旋转矩阵；T 为平移向量，2 个点集的配准变换即两坐标系刚体变换，同时也要满足目标函数得到最小的R、T，那么在求得变换矩阵后需要进行优化，优化函数为式（15）：(R，T)=argminf(R，T)=i=1nqi-()Rpi+T2（15）3 试验 实验室环境下建立一套受电弓滑板轮廓视觉测量系统，通过龙门架模拟列车入库，架上横梁由3 台摄像机和 3 台激光光源构成。首先需要求解单体的摄像机内参，求解方程时所用靶标如图 6（a）所示。在实际标定过程中，需要移动摄像机拍摄不同方向的棋盘格，在多幅图像中获取足够的求解方程所需坐标点。测量时需移动靶标使其在摄像机的视场范围内成清晰的图像，标定参数见表 2。完成单独摄像机内参标定后，需求解光平面方程。在实际标定过程中，首先保证摄像机视角清晰成像，然后任意移动棋盘格 9 次。摄像机拍摄的棋盘格靶标光条如图 6（b）所示。光条中心线的获取是通过提取亚像素点的方法，中心线与棋盘格线条的交点即为所需特征点，通过 2.2 节介绍的光平面方程求解方法，建立方程组得到光平面方程和相关系数为式（16）：x+0.025 6y+0.649z+309.634 5=0（16）通过以上步骤可以完成内参标定，并且求解得到光平面方程，后续步骤可以按照 2.3 节所介绍的 计 算 步 骤，标 定 摄 像 机 外 参，最 终 计 算 结 果见表 3。将标定完成后的受电弓滑板轮廓检测系统安装在龙门架上，得到三维靶标特征点坐标后计算间距，并以此来验证检测精度。具体的检测过程先把靶标放在受电弓滑板上，并在摄像机的视场中移动位置。通过测量系统动态测量靶标在不同图 5多摄像机外参标定示意图125铁 道 机 车 车 辆第 43 卷 位置时的角点坐标数据，计算出靶标台阶长宽高各向的物理长度。比较靶标长宽高的测量距离与真实距离，计算其绝对误差。三维靶标精密制造且其空间尺寸已知，其尺寸示意如图 7（a）所示、靶标实物如图 7（b）所示。以凸台静态测量数据为基准，对 X、Y、Z 这 3 个方向的间距进行检测，获得多组校测数据，校测结果表明靶标在横向、纵向、垂直方向测量误差均控制在0.5 mm 以内，达到工程应用要求精度。使用多视觉测量系统扫描滑板轮廓，得到完整的受电弓碳滑板三维点云数据，经过多视觉传感器的标定模型进行各段点云数据拼接，完整滑板点云如图 8 所示，验证受电弓碳滑板轮廓测量系统具有较高的实用性。4 结论（1）针对受电弓滑板轮廓测量中的问题，提出多摄像机联合测量的配置方案以及二维棋盘格和三维凸台共同计算的方法。（2）推导了滑板测量系统标定模型，求解出模型相关的内、外参数，并通过光条特征点解出光平面表式。在此基础上提出了多视觉融合测量系统模型，利用该数学模型能够求解滑板轮廓测量中图 6受电弓滑板轮廓检测系统标定图像表 2受电弓滑板轮廓检测系统标定参数标定参数u0v0k1k2p1p2摄像机 11 680.101 679.76-0.150 0668.96522.86-0.385 00.125 74.09410-50.045 8摄像机 21 675.501 674.900.124 2649.60534.15-0.377 00.173 5-5.428 110-5-0.001 3摄像机 31 632.531 633.06-0.220 4642.97518.33-0.091 30.455 0-6.955 410-4-0.001 1表 3摄像机外部参数标定结果摄像机1、22、3旋转矩阵R1=0.662 7-0.648 90.373 9-0.548 80.762 70.342 20.520 400.825 7-0.217 2R2=0.754 3-0.375 80.623 9-0.584 90.732 10.259 40.504 20.694 6-0.354 9平移向量t1=256.18-17.54102.32t2=342.25-25.9695.30图 7靶标凸台尺寸与实物示意图126第 4 期受电弓滑板轮廓检测中多视觉传感器全局标定方法研究需要的相关参数，完成滑板最终测量。（3）基于激光测量技术，通过三维凸台靶标系统测量距离和空间物理距离对比进行精度验证，结果表明该标定方法能够达到检测目的。参考文献1 张新龙.基于单目视觉激光扫描成像的受电弓磨损检测系统设计D.石家庄：石家庄铁道大学，2019.2 占 栋，于 龙，肖 建，等.隧道净空全断面测量中多视觉传感器全局标定方法J.铁道学报，2015，37（7）：98-106.3 张 辉.双目视觉受电弓表面三维重建技术研究D.成都：西南交通大学，2014.4 CHOI K H，KIM Y，KIM C.Analysis of Fish-eye Lens Camera Self-CalibrationJ.Sensors（Basel，Switzerland），2019，19（5）：285-294.5 ZOU W,WEI Z Z,LIU F L.High-accuracy Calibration of Line-structured Light Vision Sensors Using a Plane MirrorJ.Optics Express，2019，27（24）.6 LI Y C，FANG S P.Large Object Vision Measu-rement System Based on a Fixed Connection Between a Camera and a Total Station TelescopeJ.Applied Optics，2019，58（26）：7080-7093.7 高金刚，刘智勇，王 华，等.基于激光跟踪仪的多目视 觉 全 局 标 定 算 法 研 究 J.制 造 技 术 与 机 床，2020（6）：157-162.8 鲁亚楠，万子敬，王向军.一种无公共视场相机位置关系的求解方法J.应用光学，2017，38（3）：400-405.9 裘祖荣，陈培芬，李杏华.多线结构光视觉传感器测量系统的标定J.半导体光电，2014，35（5）：889-893.10 潘华伟，杨振先，高春鸣，等.一种基于平面模板的多摄像机标定方法J.计算机应用研究，2011，28（11）：4357-4360.11 张 曦，张 健.线结构光标定方法综述J.激光与光电子学进展，2018，55（2）：7-17.12 于龙龙，李艳文，栾英宝，等.基于二维平面靶标的线结构光标定J.仪器仪表学报，2020，41（6）：124-131.13 伍川辉，任继炜，廖 家，等.基于多视觉传感器的受电弓滑板磨耗检测系统设计J.仪表技术与传感器，2021（11）：78-82，87.14 伍川辉，邓 越，于 涛，等.受电弓滑板磨耗检测中多视觉传感器标定方法研究J.中国测试，2023，49（1）：7-13.Research on Global Calibration Method of Multi-vision Sensor in Pantograph Slide Profile DetectionWU Chuanhui1，REN Jiwei1，LIAO Jia1，LI Hengkui2，YANG Gang1（1 School of Mechanical Engineering,Southwest Jiaotong University,Chengdu 610031 Sichuan,China；2 CRRC Qingdao Sifang Co.,Ltd.,Qingdao 266111 Shandong,China）Abstract：Aiming at the characteristics of large horizontal space scale and overlapping sensor perspectives in pantograph slide contour detection,a ground multi-vision sensor system configuration scheme and a calibration method combining 2-D target and 3-D target were proposed to calibrate the multi-vision sensor in the detection system globally.First,a two-dimensional target is used to calibrate a single visual sensor.After the calibration of a single visual sensor is completed,a three-dimensional target is placed within the crossing angle range of two adjacent visual sensors,and the external parameters of adjacent cameras are solved through the mapping relationship between the targets THREE-DIMENSIONAL feature points under different camera perspectives.The internal and external parameters of all cameras and the plane equation of structural light are integrated to establish the mathematical calibration model under the unified coordinate system.At last,the experimental verification is carried out by comparing the relative distance and real distance of 3D target feature points.The results show that this method has high calibration precision,good operation stable structure and can effectively measure the skateboard profile.Key words：pantograph slide；three-dimensional targets；visual sensors；global calibration图 8滑板轮廓重建平面127