基于嵌入式平台近景物体视觉测距系统的研究.pdf

近年来，机器人在智能生产领域发挥了重要作用，但目前而言，机器人智能化水平不高，尤其在复杂环境下机器人的适应力差、灵活度低。机器人执行任务首要面对的是近景物体，近景物体往往是阻碍其执行任务的障碍物或是机器人操作的目标物体，因此，获取机器人近景物体的位置信息对机器人智能操控至关重要。工业领域通常采用雷达测距、超声波测距、激光测距、红外测距等方式获取目标物体位置1-4，该类测量方式也统称为被动式测量法，其在实际测量中受外界信号的干扰较大，然而视觉测量是一种主动式测量方式，其测量时不需要向目标物体发送任何信号，信号测量范围宽、成本低5-6。据统计，人类感知世界获取的信息约 80%是通过人眼获得7，对于机器人而言，通过视觉传感器测量可获取机器人周围目标的三维信息。由于视觉测量涉及图像预处理、投影变换等大量复杂的数据信基于嵌入式平台近景物体视觉测距系统的研究郭 哲（陕西中医药大学 基础医学院，陕西 咸阳 712046）摘要：针对机器人在复杂环境下确定近景目标物体位置的需求，研究一款以 Tiny6410嵌入式处理器为硬件平台的视觉测距系统。基于相机成像模型，结合人体视觉成像原理，通过坐标矩阵变换建立目标特征点与二维图像平面特征点之间的联系，使用已知大小的标定靶标定相机，求得相机固有参数，利用相机固有参数反推，获得目标特征点的三维点云，分析三维点云信息，自主测得近景物体的位置信息。通过视觉测量及软尺测量分别对目标物体进行测量，两者结果相对误差较小，且视觉测量操作便捷、效率高。关键词：近景物体；标定；视觉测量；三维点云中图分类号：TP391文献标识码：A文章编号：1674-6236（2023）16-0072-04DOI：10.14022/j.issn1674-6236.2023.16.015Research on visual ranging system of closerange object based on embedded platformGUO Zhe（School of Basic Medicine，Shaanxi University of Chinese Medicine，Xianyang 712046，China）Abstract:Aiming at the requirement of robot to determine the position of closerange object in complexenvironment，a visual ranging system based on Tiny6410 embedded processor is studied.Combined withthe principle of human visual imaging，the relationship between the target feature points and the twodimensional image plane feature points is established by coordinate matrix transformation based on thecamera imaging model，the intrinsic parameters of the camera are obtained by using the calibration targetwith known size，the threedimensional coordinate point cloud of target feature points is obtained by thebackpropagation of the intrinsic parameters of the camera，the position coordinates of the closerangeobject is measured independently by analyzing the 3D cloud.The target object is measured by visualmeasurement and flexible rule measurement respectively，the relative error between the two results issmall，and the visual measurement is convenient and efficient.Keywords:closerange object；calibration；visual measurement；3D point cloud-72息计算，使得目前大多数视觉测距系统均基于PC架构实现，便携性、机动性受到很大的限制。为了提高视觉测量的灵活性和实用性，目前经常使用的视觉测距系统由前端采集系统和后端处理系统构成，但视频数据传输中受限于网络稳定性和带宽的影响，使得这种工作模式下系统的使用受到很大影响，且效率低下。基于移动平台的近景目标视觉测距系统模拟人眼感知三维世界原理，分析出近景目标物体相对位置，可提高机器人智能性。1系统总体设计通过机器人信息采集端的摄像头采集视频图像，分析处理左右摄像头同一视角范围内的图像，利用几何学原理建立特征点间联系，重投影得出图像特征点的三维点云，分析三维点云信息，自主测得近景物体的深度。该近景目标物体视觉测距系统的系统结构图如图 1所示，系统结构由硬件和软件两部分构成，驱动程序驱动左右摄像头采集视频图像，经 Tiny6410开发板分析处理，得出视角区域三维点云，图像应用程序利用生成的三维点云，分析得出近景目标物体深度信息。图1系统结构图2视觉测距原理2.1相机成像模型摄像头采集图像原理和人类眼睛获取景物原理类似，其成像模型可简化为小孔成像模型，光线通过透镜照射到感光芯片，感光芯片捕获光信号并将其转化为数字图像信号8-10。相机成像模型如图2所示，P(x,y,z)为空间中目标点，经透镜投影到成像仪上的图像坐标为 p(xc,yc)。相机的成像过程可理解为成像点在像素坐标系、图像坐标系、相机坐标系、世界坐标系四个坐标系间相互变换，像素坐标系坐标原点在图像平面左上角，u、v轴分别与图像坐标系U、V轴平行；以图像中心o作为图像坐标系坐标原点，U、V 轴分别与 X、Y 轴平行；以摄像头光心 O 作为相机坐标系的坐标原点，与光轴重合的射线作为 Z 轴，XOZ 平面与成像平面垂直；以Ow为世界坐标系坐标原点，取方向与光轴方向相反且与光轴平行的射线为Zw轴；这四个坐标系两两依次建立联系，便可建立世界坐标系与相机坐标系中同一特征点间的联系。图2相机成像模型依据相机模型，可以经平移、旋转等变换建立世界坐标系和像素坐标系的关系为：z xsys1=MR Txwywzw1（1）其中，R 为目标点绕 X、Y、Z 轴三个方向上旋转矩阵的乘积，T为目标点在 X、Y、Z轴上平移向量，表示为T=t1t2t3T，R、T统称为相机的外参数；M为内参数矩阵，由相机焦距f及相机感光芯片的中心相对于光轴的偏移校正参数组成。把已知大小的棋盘作为标定靶，提取特征点标定相机，通过已知特征点的坐标利用高斯消元法，便可得到相机内外参数。2.2视觉测量原理视觉测量的基本原理为可以简化理解为三角测量法11-14，三角测量法的原理图如图 3所示。相机的光轴平行且像素行对准，O1和Or分别为左右投影中心，左右两个相机的焦距f1和fr相同，左右图像中主点c1和cr的坐标值一致，特征点 X 在两个图像平面上的投影点为x1和xr，x1和xr在各自像素坐标系中水平位移分别为x1和xr，该特征点左右图像中视差为d=x1-xr。设 f为相机的焦距，利用相似三角形原理，可推出物体离摄像头镜头的距离Z的值如式（2）郭 哲基于嵌入式平台近景物体视觉测距系统的研究-73电子设计工程 2023年第16期所示：Z=fTd（2）图3三角测量法原理图通过已知大小的棋盘，利用图像特征点和像素特征点间关系我们求得相机焦距 f，以及左右相机相对于世界坐标系的平移矩阵（Tl、Tr）和旋转矩阵（Rl、Rr），利用求得参数建立同一特征点与左右相机间的关系：p1=R1P+T1（3）pr=RrP+Tr（4）通过相同特征点与左右相机中的目标特征点的关系，可以得出左右相机相同特征点间关系为：p1=R1R-1rpr+T1-R1R-1rTr（5）因此可以得出相同特征点在左右相机间转换的平移矩阵T和旋转矩阵R为：R=R1R-1r（6）T=T1-R1R-1rTr（7）2.3重投影测距根据相机成像原理，利用矩阵变换建立标定靶特征点和二维图像点关系，通过已知的标定靶特征点坐标(xw,yw,zw)和图像特征点(xs,ys)可推出相机的固有参数矩阵；获得相机参数后，利用二维图像特征点坐标(xs,ys)和同一特征点不同视角视差 d可反推获得特征点的世界坐标系中坐标(xw,yw,zw)。依据特征点世界坐标系中的坐标，利用勾股定理便可得出特征点的距离为：s=x2w+y2w+z2wz（8）当求得特征点距离后，依次遍历比较两个特征点的距离大小，取最小值为 Dmin，用 Dmin依次与其他特征点距离相比较，将值小者赋给 Dmin，依次遍历完所有特征点后便可得近目标物体的距离及坐标。3实验验证3.1总体架构鉴于 Tiny6410 处理平台具有高性能、易携带等优势15-16，以Tiny6410为处理器搭建一套视觉测量系统，通过 QT图像库为前端提供交互控制界面，利用Linux系统下的 v4l2接口为系统采集视频图像，同时基于OpenCV视觉库分析处理采集的图像信息。测量工作主要分为以下三个阶段：1）相机标定：通过给定大小的棋盘求解相机的内外参数。2）生成三维点云：匹配左右图像特征点，将相同特征点的图像坐标通过重投影的方式转化为三维坐标点云。3）近景物体测量定位：分析已生成的三维点云，依次遍历视角区域内所有特征点，测得近景物体的距离。3.2相机标定采用等大的交叉黑白格棋盘标定摄像头，传统标定方式多采用捕捉多张不同视角棋盘图像标定摄像头，未对棋盘采集面积的屏占比做要求，该类标定方式部分畸变区域缺少有效的校正特征点，导致存在校正盲区，影响相机畸变的校正准确度17。该算法标定时采用投影屏占比极大化原则，具有如下优点：使得棋盘图像在视角区域的屏占比最大，同时单位面积采集图像中存在分布较为均匀的校正特征点，可保证视角区域特征点均匀分布，提高标定精度，进而获得准确度更高的畸变系数。这种相机标定方式能提高摄像头标定精度，改善图像畸变，进一步校正畸变图像，提升左右图像匹配率。采集一帧棋盘图像后，通过直方图均衡化、灰度化等预处理方式增强图像的对比度，进而增强图像的视觉效果，提高捕捉特征点效率18。每采集一帧图像后，捕捉图像角点，并统计角点数量，若角点数量达到阈值，使用连线连接每行角点，同时将角点像素坐标依次写入像素坐标矩阵，相机标定采集的角点图如图 4 所示。为了提高标定精度，调整棋盘的角度，依次采集不同视角的棋盘图像，直至采集到阈值数量的棋盘图像。当采集指定阈值数量的图像后，利用二维图像特征点与三维世界特征点的关系建立方程组，通过高斯消元法依次求得摄像头固有参数，同时将获得的参数存于XML数据库文件。-74两个相机标定结果如表1所示。表1相机标定参数相机1参数fx/mcx/pixelfy/mcy/pixel数值5.211031.681025.211031.06102相机2参数fx/mcx/pixelfy/mcy/pixel数值5.211031.651025.211031.07102表 1 数据显示两个摄像头具有相同的焦距、不同的主点，主点坐标分别为(168,106)、(165，107)，大小为320240图片的图像中心坐标为(160,120)，表明主点和成像仪的中心有一定误差，为校正畸变，坐标转换时需添加这一部分偏移量。3.3生成三维点云利用相机模型，使用矩阵变换建立棋盘特征点世界坐标和二维图像特征点像素坐标联系，求解方程组获得摄像头固有参数矩阵，当获得摄像头参数矩阵后，使用参数矩阵组成的投影矩阵和同一特征点不同视角的视差反推重投影，即可获得特征点的三维坐标。相同视角范围内的特征点三维坐标点云如图5所示。图5三维点云图像经过重投影，可得到其特征点世界坐标系中 x、y、z 值，大小为 320240 的图像可得到一个320240 大小的三通道矩阵，每个通道分别存放特征点的x、y、z值，生成的三维信息按特征点坐标顺序依次存入坐标矩阵生成三维点云，该矩阵为物体的深度、大小等信息的分析测量提供依据。3.4近景物体测量近景物体往往是机器人的目标物体或者是阻碍其执行操作的障碍物，机器人自主执行操作时必须首先捕获近景物体的位置，获取近景物体的位置大小信息是机器人执行操作的首要步骤。依据视觉测量生成三维点云信息，依次遍历所有特征点的坐标信息，最终测得近景物体的距离。利用该视觉系统测量目标物体，同时通过软尺进行测量对比验证，通过对不同远近的目标物体进行多次实验测量，两种测量方式的实验对比结果如表2所示。表2近景物体测量编号123456视觉测量值/mm781.8965.71 098.21 134.31 211.61 419.87软尺测量值/mm7949771 0691 1471 1791 378相对误差（%）-1.5-1.22.7-1.12.83由于在实际操作过程中，软尺存在一定的使用误差，摄像头光学畸变、标定误差等因素也会影响视觉测量的精度，但通过实验分析显示软尺测量和视觉测量测量结果相对误差较小，近景物体视觉测量具有较高的准确率。4结论提出一种基于Tiny6410嵌入式平台的近景物体视觉测距技术，该技术以黑白交叉的棋盘为标定物标定相机，利用标定得出的相机参数重投影图像得出特征点三维点云，依据特征点三维点云得出距离，遍历每个特征点的距离，测得近景物体的距离，该方法操作性强、精度高，同时系统具有很好的适应性，可广泛应用于基于移动开发的自主机器人、汽车导航等领域，具有一定应用价值。参考文献：1 王飞.雷达测距技术在智能化综采工作面中的应用J.煤炭科学技术,2021(49):138-141.2 鄂禹蒙.嵌入式超声测距系统设计D.沈阳:沈阳图4相机标定效果图（下转第80页）郭 哲基于嵌入式平台近景物体视觉测距系统的研究-75电子设计工程 2023年第16期for human pose estimation in videosC.Atlanta:SIEEEInternationalConferenceonComputerVision,2015:1913-1921.6 Newell A,Yang K,Deng J.Stacked hourglass netw-orks for human pose estimationC.Cham:EuropeanConference on Computer Visio,2016:483-499.7 Chen Y,Wang Z,Peng Y,et al.Cascaded pyramidnetwork for Multi-Person pose estimationJ.Sha-nghai:Computer Vision and Pattern Recognition,2017:356-363.8 Sun K,Xiao B,Liu D,et al.Deep high-resolutionrepresentation learning for human pose estimationC.Tianjin:IEEE/CVFConferenceonComputerVision and Pattern Recognition,2019:5693-5703.9 吴东东.基于图神经网络的多标签图像分类研究D.成都:电子科技大学,2021.10ChenY,TianY,HeM.Monocularhumanposeestimation:A survey of deep learning-based meth-odsJ.Computer Vision and Image Understanding,2020(2):897-922.11Wu H S.Optimized HRNet for image semanticsegmentationJ.Expert Systems with Applications,2020(2):532-544.12唐庄,王志舒,周爱,等.面向文本分类的transformer-capsule集成模型J.计算机工程与应用,2020,56(24):151-156.13孟恒宇,李元祥.基于Transformer重建的时序数据异常检测与关系提取J.计算机工程,2021,47(2):69-76.14何孝霆,董航,杜义华.Transformer 及门控注意力模型在特定对象立场检测中的应用J.计算机系统应用,2020,29(11):232-236.15任好盼,王文明,危德健,等.基于高分辨率网络的人体姿态估计方法J.图学学报,2021,42(3):432-438.16刘鹏坤,朱成杰,张越.轻量型高分辨率人体关键点检测改进研究J.计算机工程与应用,2021,57(2):143-149.（上接第75页）理工大学,2019.3 李文兵.二维激光雷达测距系统的研究与设计D.太原:太原理工大学,2021.4 彭伟.相位差式红外测距传感器的研究与设计D.长沙:湖南师范大学,2017.5 郭哲.双目测距机器人的研究D.兰州:兰州理工大学,2016.6 曲岩.基于双波长红外激光主动式测温技术研究D.长春:长春理工大学,2021.7 薛梦霞.基于机器视觉的场景目标识别方法研究D.杭州:杭州电子科技大学,2015.8 李松凯,王海宇,张永洪,等.智能车路径图像高速处理与运动控制研究J.单片机与嵌入式系统应用期刊,2015(11):30-36.9 谢向生,魏洁,梁浩文,等.散射透镜的成像原理及应用J.物理实验,2021,41(8):1-9.10邵晓鹏,刘飞,李伟,等.计算成像技术及应用最新进展J.激光与光电子学进展,2020(2):1-45.11于仕琪.学习OpenCVM.北京:清华大学出版社,2009.12杨丽丽,王华涛.基于双目视觉的高精度摄影系统测量精度模型分析J.工程与试验,2018,58(1):11-14.13马龙,徐泓悦,胡艳敏,等.基于投影条纹级次识别的发动机叶片三维测量方法J.激光与光电子学进展,2018,55(4):223-234.14史维程,杨平,徐建双.基于双目视觉的工件三维重建J.厦门大学学报(自然科学版),2020,59(4):553-559.15董君.铁路路段嵌入式视频采集系统设计与实现D.重庆:西南交通大学,2018.16潘磊.基于人脸识别算法的门禁系统的设计与实现D.重庆:西南石油大学,2017.17赵宏,郭哲,包文斌,等.一种目标物体动态跟踪与测量定位方法:ZL201610054348.8P.2016-01-27.18马超,周晚,张志文.图像处理在大米品质检测中的应用研究J.机械与电子期刊,2018,36(4):58-62.-80