3D机器视觉发展及其工业应用综述_马宏宾.pdf

第 4 卷第 4 期2022 年 12 月微纳电子与智能制造Micro/nano Electronics and Intelligent ManufacturingVol.4 No.4Dec.2022基金项目:面向智能博弈的非对称动态对策建模仿真与自适应学习(62076028)项目资助马宏宾(通信作者),教授,主要研究方向为计算机视觉/人工智能、自适应估计、控制与智能博弈、智能自主系统/机器人。E-mail:mathmhb 王鑫,博士,主要研究方向为目标识别与检测、3D 机器视觉检测与测量。E-mail:18737173446 边金岳,硕士,主要研究方向为 3D 位姿估计、路径规划。E-mail:jybian 金英,讲师,主要研究方向为计算机视觉、机器人控制。E-mail:jinyinghappy DOI:10.19816/ki.10-1594/tn.2022.04.0503D 机器视觉发展及其工业应用综述马宏宾1,2,王鑫1,边金岳1,金英1(1.北京理工大学自动化学院 北京 100081;2.北京理工大学自主智能无人系统全国重点实验室 北京 100081)摘要:2D 机器视觉技术快速发展,并在工业、农业、交通等领域取得大量应用。然而,其缺乏深度信息,无法准确描述物体的三维空间信息。3D 机器视觉技术凭借包含更多目标信息的优点,在工业等领域具有广泛的应用前景。本文全面研究 3D 机器视觉技术的发展及应用:首先,研究分析了机器视觉技术的发展现状,对比了 2D 和 3D 机器视觉;其次,对 3D 机器视觉的关键技术进行归纳总结,将其划分为特征提取技术、位姿估计技术和三维重建技术;然后,对 3D 机器视觉技术在工业中的应用进行总结,主要研究了缺陷检测、引导定位等应用;最后,分析了 3D 机器视觉技术存在的问题,包括软硬件兼容性、计算复杂度和适应性问题,并对未来发展进行了展望。本综述研究结果可为 3D 机器视觉的进一步发展与应用提供参考。关键词:3D 机器视觉;特征提取;位姿估计;三维重建;工业应用中图分类号:TP391.4 文献标识码:A 国家标准学科分类代码:520Review of 3D machine vision development and its industrial application MA Hongbin1,2,WANG Xin1,BIAN Jinyue1,JIN Ying1(1.School of Automation,Beijing Institute of Technology,Beijing 100081,China;2.National Key Lab of Autonomous Intelligent-Unmanned Systems,Beijing Institute of Technology,Beijing 100081,China)Abstract:The technology of 2D machine vision has developed rapidly and has been widely used in many fields,such as industry,agriculture and transportation.However,it lacks depth information and cannot accurately describe the three-dimensional spatial infor-mation of objects.With the advantage of containing more information of targets,3D machine vision technology has broad application prospects in industry and other fields.The paper comprehensively researches the development and application of 3D machine vision technology:first,we research and analyze the development of machine vision technology,and compare 2D and 3D machine vision;second,we summary the key technologies of 3D machine vision,such as feature extraction,pose estimation and 3D reconstruction tech-nology;then,the applications of 3D machine vision technology in industry is summarized,which mainly contain defect detection,guid-ance and positioning;finally,the problems existing in 3D machine vision technology are analyzed,including the compatibility of hardware and software,computational complexity and adaptability issues.Moreover,this paper indicate prospects for the future development of 3D machine vision.The results of this review can provide a reference for the further development and application of 3D machine vision.Keywords:3D machine vision;feature extraction;pose estimation;3D reconstruction;industrial application0引言在中国制造向中国智造转型的背景下,工业机器人自动化、智能化参与生产,离不开机器视觉的定位与引导。在工业制造生产过程中,严格管控产品质量是重中之重。然而,传统生产过程多采用人工抽检的方式进行质量检测,结果常常会因疲劳、个体之间的差异等产生误差与错误,并且人工成本高、效率低,难以满足降本增效的要求,也难以保证 100%的正确率。根据大量的需求调研,传统自动化设计模式存在致命的缺陷,例如大型机械装配过程中存在位置不固定、尺寸不固定等特点。传统自动化设备的短板在于缺少交互、缺少协作、缺少感知、缺少学习、缺少决策、缺少闭环,无法满足具有不确定性第 4 期马宏宾 等:3D 机器视觉发展及其工业应用综述51 的柔性制造场景的需要。机器视觉是人工智能领域的重要分支之一,利用光学硬件设备与非接触式采集传感器采集数据,经过人工智能算法处理数据,实现定位引导、检测、识别与测量,被广泛应用于 3C 电子、轨道交通、新能源锂电、汽车制造等领域,具有非接触、低成本、高可靠性、高效率及高自动化程度的特点。典型的工业机器视觉系统包含光源、镜头、图像采集接口、图像处理模块、通信模块以及具有良好交互性与可操作性的软件界面。机器视觉通常分为 2D 机器视觉和 3D 机器视觉。2D 机器视觉利用图像数据获取目标的平面信息,通常在瑕疵检测、判断目标有无等场景中应用广泛。但随着智能制造对 3D 形态、空间位姿等空间信息的需求的增高,2D 机器视觉由于缺少深度信息,难以应对相关的需求。在汽车零配件检测与汽车总装生产线上检测、识别与测量任务中,3D 机器视觉应用在不断增加,例如检测轮胎鼓包、凹陷或圆度,检测汽车涂胶过程中溢胶、漏涂等。本文主要对机器视觉发展现状、3D 机器视觉关键技术及 3D 机器视觉在工业中的应用进行总结和分析,并对 3D 机器视觉亟需解决的问题进行分析与探讨。1机器视觉技术发展现状1.1 2D 机器视觉技术 2D 机器视觉系统一般由光学系统、成像系统、控制系统和图像处理系统组成。光学系统与成像系统包含光源、镜头和成像传感器。控制系统包含图像采集卡、光源控制器、通信接口等。图像处理系统由工业电脑、可视化平台和处理软件组成。2D 机器视觉通过处理相机采集的图像,提取图像中像素间灰度特征、局部特征等,进一步对特征进行分析,实现目标检测、目标识别、目标分割等任务。2D 视觉的硬件日趋成熟。可见光场景下,图像传感器品类齐全,但是在烟雾等特殊场景下,为了得到理想的图像,红外成像1、偏振成像2、太赫兹成像3等技术在不断发展。同时,处理图像的算法也在不断迭代,传统的特征提取4、特征分类5算法逐渐被深度学习算法6取代。在不需要深度信息的应用中,例如目标表面瑕疵检测、2D 目标识别等,2D 机器视觉具有明显的优势,不仅处理速度快,而且准确度高。然而,2D 机器视觉在实际使用中存在局限性,无法满足三维形状测量和空间位姿检测的需求。同时,环境光照变化对成像质量影响严重。当目标的边缘特征模糊或成像中前景与背景差异不明显时,难以实现高准确度、高精度检测。1.2 3D 机器视觉技术 3D 视觉作为机器视觉技术的一个重要分支,在机械制造、缺陷检测、路径规划和自动装备等方面有着重要应用,如图 1(a)所示的锂电池表面划痕、凹陷等多类缺陷检测,以及图 1(b)所示的 3D 视觉引导机器人实现加油塞位姿估计与抓取。1960 年,美国麻省理工学院罗伯特首次将 2D 推向了 3D。近年来,各项技术应用于 3D 信息测量中,形成了各类 3D视觉测量系统。这些技术可以分为被动式 3D 视觉技术和主动式 3D 视觉技术。图 13D 机器视觉应用案例Fig.1Applications of 3D machine vision(1)被动式 3D 视觉技术被动式 3D 视觉技术不需要向目标表面投射结构光图案,使用单个或多个视觉传感器采集目标图像,通过对多幅图像进行特征分析,基于对应特征点计算目标的三维空间信息。被动式 3D 视觉技术常用于光照明暗变化范围低、目标表面非光滑、纹理清晰的场景,能够通过立体匹配找到匹配点。常见被动式视觉技术有双目视觉成像和多目视觉成像。双目视觉成像系统利用两个相机从两个视点对同一目标分别获取图像,再计算两图像中对应点的视差,进而计算目标的三维空间信息。经典的双目立体视觉计算过程包含图像畸变校正、立体校正、图52 微纳电子与智能制造第 4 卷像配准和视差图计算。多目视觉成像系统包含两种,一种是使用多台相机从不同视点对同一目标成像,然后利用基于特征的立体重建算法获取目标深度信息7。另一种是使用同一台参数不变的相机,在多个视点采集图像,根据图像的特征信息重建目标的三维形貌8,常用于特征点丰富的场景三维重建。被动式视觉技术需要通过特征点匹配解算空间点的三维信息,受限于被测目标的纹理强弱、环境的光照变化、目标的特征丰富程度等不确定性,难以满足高精度应用需求。被动式视觉技术通常用于大型场景的三维重建中。(2)主动式 3D 视觉技术主动式 3D 视觉技术利用光学原理,向目标表面投射格式化图案,通过视觉传感器采集经过目标调制后的结构光图像以及标定投影设备与视觉传感器的空间关系,获取目标的三维空间信息。主动式3D 视觉技术具有抗干扰能力强、精度高、重复性高和可靠性高的优点,但是相机帧率受限,难以满足高速需求。常见的主动式 3D 视觉系统包含结构光三维成像系统和线激光扫描系统。结构光三维成像系统由投影仪和相机构成,常见的结构形式有:单投影仪与单相机、单投影仪与双相机9、单投影仪与多相机、单相机与多投影仪10等结构形式。结构光三维成像系统的基本工作原理是利用投影仪向目标物体投射结构化图案,相机采集结构光图像,基于标定的相机与投影仪的空间关系和图像处理算法计算目标的三维空间信息。工业中常用的投影仪是数字光调制投影(digital light processing,DLP),包 括 数 字 振 镜 器 件(digital micromirror device,DMD)和激光 LED 图案投影。根据投影次数可以分为单次投影和多次投影成像。单次投影成像采用空间复用编码或频率复用编码方式实现,适用于精度要求不高的场景,常见的结构为使用随机散斑投射到目标表面,使用左、右相机采集图像,解算三维空间信息。图 2 所示为双目结构光成像原理图,基于左右相机的视差计算空间点位置。假设左右相机已经进行极线校正,成像平面前向平行,左图像和右图像中同名点为 Pl(ul,vl)和Pr(ur,vr),那么 vl=vr,视差为 d=|ul-ur|,根据三角法则,该点空间深度为 z=bf/d,其中,b 为相机的基线,f 为相机焦距。多次投影成像采用时间复用编码方式实现,利图 2双目结构光成像原理Fig.2Principle of binocular structured light camera用图像传感器采集被物体表面调制后发生变形的结构光图案,通过图像处理算法,计算得到目标物体的三维形貌信息。常用的结构光投影方式有格雷码投影、正弦相移条纹投影和混合投影等。线激光扫描系统包含光源系统、图像采集系统和运动系统。光源系统用于向物体表面投射单线激光,图像采集系统用于采集投射在物体表面的激光线,通过标定光平面,将图像中激光线的像素坐标解算为三维空间坐标。运动系统用于搭载相机和激光器,通过移动激光器和相机,实现对物体表面三维数据的采集。线激光扫描系统精度高、适用于运动过程中采集点云数据,通常搭载于机器人系统、流水线检测工位。主动 式 视 觉 技 术 还 有 ToF(time of flight)、Kinect 等技术,通过向目标表面投射光学信息,使目标表面特征信息增多,有利于提高三维数据的精度。在不同应用中,根据精度要求、视野范围等信息,选择合适的 3D 视觉成像技术。23D 机器视觉关键技术2.1 3D 特征提取技术近年来,3D 数据获取技术迅速发展,3D 机器视觉的应用需求也在不断增加,3D 视觉特征作为 3D目标识别、检测的基础,其提取技术逐渐成为 3D 机器视觉领域的热门研究方向。(1)基于法向量的特征提取点云是一种常用的或者主要的 3D 数据格式。点云特征提取的研究主要集中在表面法向量、曲率、拓扑结构、法线直方图等方面。麻卫峰等11针对传统主成分分析点云法向量估算存在的精度不高、人工干预等问题,提出了一种改进的主成分分析法向量估算方法,并根据点邻域法向量标准差实现了离散点云特征提取。该方法能很好地实现点云特征提取,改进后的点云法向量估算考虑了点云邻域复杂第 4 期马宏宾 等:3D 机器视觉发展及其工业应用综述53 程度,普适性强。贾丁凡等12提出了一种基于法向量和投影平面的特征提取方法。根据矢量分布和聚类的性质提取轮廓点,使用矢量偏转角和距离对特征点进行排序,从而提取出点云特征。吴奕儒13提出了基于改进 PointNet14的点云曲率估计和数据简化方法,这是一种由采样层、特征提取层和回归预测层构成的基于改进 PointNet 的点云曲率估计网络。(2)基于深度学习的特征提取深度学习技术在计算机视觉领域的成功应用,为基于深度学习的 3D 特征提取提供了新思路。3D卷积 神 经 网 络15、点 云 卷 积 神 经 网 络 PointNet、PointNet+16等深度学习模型被广泛应用于 3D 数据的特征提取和分析中。PointNet 提出了一种基于深度学习的点云特征提取方法,通过对点云进行局部特征提取和全局特征提取来实现点云的分类和分割。PointNet+是 PointNet 的改进版本,提出了一种基于点云层次结构的深度学习方法,可以学习到更丰富的特征表示,从而提高点云分类和分割的性能。PointCNN17提出了一种基于点云转换和卷积神经网络的点云特征提取方法,可以提高点云分类和分割的准确率和效率。DeepGCNs18介绍了一种基于图卷积神经网络的点云特征提取方法,可以学习到全局和局部的特征表示,并在点云分类和分割任务中取得较好的性能。PointASNL19提出了一种基于自适应采样和非局部神经网络的点云特征提取方法,可以提高点云分类和分割的鲁棒性和效率。(3)基于形状描述符的特征提取形状描述符是用于描述三维物体形状的数学特征,常用于 3D 形状匹配和检索。常用的形状描述符包括球面谐函数(spherical harmonics)、轮廓特征(contour features)、网格法线直 方 图(mesh normal histograms)等。Huang 等20提出了一种基于多视角卷积神经网络的点云特征提取方法,可以学习到局部的几 何 形 状 信 息 和 局 部 特 征 描 述 符。Johnson等21提出了一种名为 spin-images 的 3D 特征描述符,通过将 3D 物体的轮廓特征投影到 2D 图像中,提取轮廓特征并进行直方图统计。SHOT22特征描述符将 3D 物体的形状表示为直方图,并计算直方图中每个 bin 的梯度方向和梯度幅值,用于描述物体的局部形状信息。FPFH23描述符结合了点云中点的法向量和直方图统计信息,能够很好地描述点云的局部特征,被广泛用于点云配准和识别任务中。Zeng 等24提出了一种基于深度学习的局部几何描述符 3DMatch。3DMatch 使 用 深 度 学 习 方 法 从RGB-D 重建数据中学习局部几何描述符,用于点云匹配和识别等任务。该方法具有较高的鲁棒性和准确性。(4)特征点提取特征点是在三维数据中具有独特性质的点,通常用于物体姿态估计和三维重建。常用的特征点包括SIFT25(scale-invariant feature transform)、SURF26(speeded up robust features)等。SURF 算法是对 SIFT 算法的一种改进,主要是在算法的执行效率上,比 SIFT 算法运行更快。Zhong 等27提出了一种被称为内在形状签名(intrinsic shape signature,ISS)的新 3D 形状描述符,以表征点云的局部/半局部区域。Li 等28提出了一种无监督的稳定特征点提取方法,构建多尺度和多方向的特征点候选集合,进而通过评估稳定性指标来筛选出稳定的特征点。该方法适用于各种 3D 场景,包括室内、室外、自然场景等。Achlioptas 等29提出了一种基于变分自编码器的点云特征点提取方法,使用变分自编码器对点云进行编码和解码,从中提取具有代表性的特征点。该方法在点云分类和场景重建等任务中具有较好的性能。越来越多的研究者将不同的特征提取方法结合起来解决问题,如将点云和深度学习结合,提出了PointCNN 方法。同时,也有研究者探索了 3D 特征提取和 3D 重建之间的关系,将两者结合起来,实现了 3D 场景的重建。总之,3D 特征提取技术的研究日益深入,不同的方法和技术可以应用于不同的场景,为计算机视觉领域带来了新的机遇和挑战。2.2位姿估计技术3D 机器视觉位姿估计是指利用机器视觉技术对三维物体进行姿态和位置估计。3D 机器视觉位姿估计受到越来越多学者的关注,在机器人、虚拟现实、增强现实、自动驾驶等领域中具有广泛的应用。(1)基于传统方法的位姿估计特征点法是最早应用于 3D 机器视觉位姿估计的方法,通常会从物体表面提取一些特征点,然后根据这些特征点计算物体的姿态和位置。该方法计算速度快,但是在存在遮挡、光照变化等情况下表现较差。杨旭升等30针对药品自动拣选过程中出现的位姿估计难度大、效率低等问题,提出一种平面分割与关键点匹配相结合的位姿估计方法。该方法使用点云层次聚类算法对平面区域进行分割,并利用改进的二次关键点匹配方法对各线程中的药盒进行识别与定位,然后采用基于最小二乘的点云平面法向54 微纳电子与智能制造第 4 卷量估计方法实现药盒的姿态重建。车鹏31先通过提取近距离旋转空间目标模型的空域特征状态,研究旋转空间目标的特征区域、特征线、特征点等特征的提取手段,通过提取 SIFT 和 SURF 特 征,结 合SLAM 算法来估计目标的旋转角度,然后提出一种椭圆截面的新特征,利用轮廓建立目标扩展状态,结合扩展卡尔曼滤波(extended kalman filter,EKF)的非线性特性来对目标的姿态进行估计。对于缺乏表面纹理信息、局部曲率变化很小、点云稀疏的物体,采用局部特征描述子很难有效地提取到匹配对,Drost 等32定 义 了 点 对 特 征(point pair feature,PPF),依据点云周围的点创建全局模型,来描述点对特征,并在局部范围内使用一种快速投票的方法进行模型匹配。模板匹配法是将目标物体的模板与点云中的物体进行匹配,通常会对模板进行旋转和尺度变换,以便更好地匹配目标。然而,该方法的计算量较大,且对光照和背景变化敏感。Ma 等33提出了一种融合改进的迭代最近点(iterative closest point,ICP)算法和自 适 应 扩 展 卡 尔 曼 滤 波 器(adaptive extended kalman filter,AEKF)的未知运动目标位姿估计方法。实验结果表明改进后的 ICP-AEKF 在精度、收敛速度和鲁棒性等方面的性能都远优于传统 ICP。(2)基于深度学习的位姿估计近年来,深度学习方法被应用于 3D 机器视觉位姿估计中,通常将输入的图像和物体模型作为网络的输入,并输出相机的位姿。李昌明34针对工业环境中零件识别效率低、姿态估计准确率不高以及大量训练集难以获取的问题,对基于深度学习的零件识别及姿态估计进行了研究,提出一种基于卷积神经网络与虚拟深度图像数据集的零件识别及姿态估计方法。生成对抗网络(generative adversarial networks,GAN)被用于 3D 机器视觉位 姿估计中。刘 鹏 翔等35基于生成对抗网络实现单目相机 6D 位姿估计。肖蒙36基于生成对抗网络,从有监督和无监督两个角度对人体姿态估计展开了研究,提出基于生成对抗网络的有监督 3D 人体姿态估计算法和无监督 3D 人体姿态估计算法。强化学习是通过试错来学习最佳策略的一种方法,被用于 3D 机器视觉位姿估计中,通过学习物体姿态和相机位姿的最佳策略来提高估计的准确性。该方法需要大量的训练数据,但是在复杂场景中表现优秀。鲍蕙薏37设计了基于强化学习策略的互补滤波器和误差状态卡尔曼滤波器,对比分析了引入仿生偏振传感器系统姿态确定精度提升效果,验证了提出方法的有效性。深度学习方法在 3D 机器视觉位姿估计中具有很大的优势,能够提高估计的准确性和鲁棒性。然而,深度学习方法需要大量的数据和计算资源,并且模型的解释性较差。传统方法虽然计算速度较快,但是在复杂场景中表现较差。因此,需要根据具体的场景和需求选择合适的方法。2.3三维重建技术3D 机器视觉三维重建技术是指通过对多个视角或传感器数据进行处理和融合,从而生成三维场景模型的技术。三维重建技术主要包括 3 个基本步骤:数据采集、数据处理和三维重建。其中,数据采集主要使用传感器,如相机、激光雷达等,对物体或场景进行扫描;数据处理对采集到的数据进行预处理,如去噪、配准等;三维重建则是根据处理后的数据构建三维模型。目前,三维重建技术已经得到了广泛的关注。(1)基于传统算法的三维重建技术郭继平等38对散斑三维重建中较为耗时的对应点搜索算法进行了优化,并在此基础上研制出适用于辊压成形制造生产线的工件快速三维测量系统。Xu 等39为了获取被加工工件的 360轮廓特征和尺寸,提出了一种基于转台和线结构光立体视觉的 360 3D 点云重建技术。胡权凤40基于立体视觉对壳体零件进行三维重建,开发出一套壳体零件三维重建系统,对系统关键性技术进行研究分析。任久斌41主要对双目立体视觉三维重建中各个关键步骤进行了研究,包括摄像机标定、立体校正、立体匹配和三维重建等,其中重点研究了摄像机的标定技术和立体匹配技术,并提出了相应的改进算法。Tian 等42研究了一种基于偏振成像和双目立体视觉融合的新型 3D 重建方法,用于高质量 3D 重建。贾佳璐43对利用 ToF 相机实现物体的重建提出一种新的三维重建算法,通过分析物体重建过程的特点,对 Kinect Fusion 的重建算法进行改进。(2)基于深度学习的三维重建技术基于深度学习的三维重建技术利用深度学习算法,从多个视角或传感器数据中学习三维场景模型,从而生成场景的三维模型。该技术的优点是适用范围广,但需要大量的训练数据和计算资源。李庆44围绕 SFM(structure from motion)三维重建任务中的各关键步骤进行了详细研究,主要包括:第 4 期马宏宾 等:3D 机器视觉发展及其工业应用综述55 相机模型及相机标定方法、特征匹配算法、深度预测算法和相机位姿求解等,提出了一种用于特征匹配的卷积网络模型“单峰匹配网络”。Jin 等45综述了通过深度学习进 行 3D 重建的经 典和最新 成果。Yuniarti 等46回顾了基于深度学习的单幅或多幅图像 3D 重建方法,研究范围包括单个或多个图像源,但不包括 RGB-D 类型输入。不同的三维重建技术有各自的优缺点和适用范围,需要根据应用的场景选择合适的三维重建技术。33D 机器视觉在工业中应用 3D 机器视觉应用于工业现场,最大的优势在于与目标物体无接触,不会对被测目标造成损伤。传统制造业中的装配、检测作业大都是人工在线完成或者生产过程后的抽查式检测,难以保证产品质量与生产效率。随着智能制造的发展,在尺寸测量、工件识别、缺陷检测、路径规划、自动化装配等应用中,需要实现生产过程中的非接触、在线、高效率、高精度的定位与检测。在不同的应用领域,需要的数据分析方法也不同,本文重点从缺陷检测与引导定位两个方面介绍 3D 机器视觉的工业应用。3.1 3D 机器视觉应用于缺陷检测 3D 机器视觉技术对各类工业制品表面,例如飞机零部件、芯片、新能源电池等进行三维重建,然后对采集的点云数据进行滤波、降采样等预处理操作,最后针对性选择算法检测缺陷的有无及位置,实现目标的缺陷检测。近年来,越来越多的学者投入到基于点云的缺陷检测方法的研究中。如图 3 所示,根据有无标准三维模型,可以将基于 3D 视觉的缺陷检测算法分为两类。有标准三维模型时,通常采用基于点云配准的检测算法。对于没有标准三维模型的缺陷检测任务,通常采用基于点云数据局部特征分析和点云分割的方法进行检测。图 3基于 3D 机器视觉的缺陷检测方法Fig.3Methods of defect detection based on 3D machine vision(1)基于点云配准的缺陷检测方法点云配准将点云变换到同一坐标系下,从而实现拼接、检测任务,是点云处理的关键算法之一。点云配准可以分为粗配准和精配准。粗配准为精配准提供初始变换矩阵,以便取更精确的变换矩阵。基于点云配准的缺陷检测将在线采集的的零件点云与设计的标准模型点云进行配准对齐,计算对齐后的零件点云和标准模型的差异,进而检测生产的零件是否存在缺陷及缺陷位置。标准三维模型可以通过待测目标的标准 CAD 模型转化,也可以通过深度相机扫描标准零件获取。Li 等47对鼓风机转子的表面缺陷和对称性进行检测,首先对采集的局部转子点云进行拼接得到完整的点云,再利用点云配准技术将其与标准转子点云对齐,根据对齐后点云的差异进行缺陷检测,并利用形状特征实现对称性检测。蒋翔48针对汽车及飞机模具数字化快速修复与再制造问题,利用待检测点云与标准点云的三维匹配,实现模具局部小范围缺陷的识别。张泽49采用将采集到的点云数据与标准点云数据进行匹配的方式来实现点云的缺陷检测,提出基于点云边缘特征的点云配准方式,并根据变换后的点云数据中的点与标准点云数据中的点的距离判断缺陷位置,由缺陷区域的几何信息对缺陷进行分类。曾征50基于改进的点云配准算法实现对涂胶质量的检测,有效检测凸胶、凹胶和断胶的缺陷。基于点云配准技术的缺陷检测通过计算采集的点云数据与标准三维模型的距离差异来检测和定位缺陷所在位置,因而在可以获取精确三维模型的工业零部件检测中应用广泛。(2)基于局部特征的缺陷检测方法在家电、汽车、飞机等大型设备生产过程中,为了保障产品质量,实时检测的环节必不可少。通常,待检产品表面因为存在缺陷而出现高度、法向量、曲率等局部特征的变化。因而,可以根据点云数据的局部特征进行缺陷检测。Burcu 等51结合激光扫描仪采集的三维数据的法向量、曲率信息和图像的颜色信息,实现对裂缝、腐蚀等缺陷的检测。张研52提出了一种基于三维点云的缺陷检测与量化表征方法,使用基于法线和曲率的区域生长分割算法分割出缺陷,并通过投影计算缺陷的尺寸,对缺陷特征实现测量。陈奇等53通过基于法向量的缺陷检测算法有效地检测出钢板表面缺陷。先根据计算的法向量得到法向量梯度图像,然后根据法向量梯度图像分割缺陷区域,并结合深度信息判断缺陷信息。郭杰54通过改进的点云特征提取算法描述点云特征,并利用机器学习方法56 微纳电子与智能制造第 4 卷对提取的特征进行分类训练,最终得到泛化能力较强的缺陷检测模型。作者团队针对工业零部件缺陷检测问题,利用自行搭建的线激光相机采集点云数据,使用投影、特征提取、机器学习等算法,在汽车零配件加工、玻璃涂胶、家电生产、路面修复等应用中实现缺陷检测。以锂电池表面缺陷检测和工业零件缺陷检测为例,检测效果如图 4 所示。图 4(a)和图 4(b)分别为锂电池表面缺陷和其他工业零件表面缺陷检测效果图。图 4缺陷检测应用Fig.4Applications of defect detection基于稳健的局部特征描述子,可以利用分割、聚类、机器学习等方式实现目标缺陷检测。在实际应用中,需要根据目标构建鲁棒性强的局部特征,并选择合适的算法实现缺陷检测。(3)基于点云分割的缺陷检测方法基于点云分割的缺陷检测方法通常包含点云预处理、点云分割、缺陷识别与缺陷分析等步骤。其中,点云分割是将点云数据分成不同的具有相似特征的区域,每个区域有一定的语义含义。传统方法基于点云自身特征,使用基于聚类、区域生长等算法实现分割。近年来,基于深度学习的点云分割算法得到越来越多的关注。李锦达55采用最小二乘法将点云拟合平面,算出每个 点 到 平 面 的 距 离,得 到 RANSAC(random sample consensus)平面拟合的高度阈值并分割,再使用欧式聚类得到缺陷点云。Shi 等56基于改进的超体素分割算法实现点云分割,并利用分割区域间的凹凸属性实现压痕、凹陷的检测,检测深度达到20 m。周炳宏57通过点云分割建立区域间的拓扑关系,并利用局部凹凸性检测高压线缆表面缺陷。基于点云分割的算法不需要大量算力,且检测效率和准确度较高。随着深度学习的不断发展,点云分割网络也得到大量研究,如 PointNet、PointNet+、PointCNN 等。近年来,也有研究人员基于 RGB 和3D 数据 研 究 缺 陷 检 测,但 仍 然 需 要 较 大 的 计 算资源58。3.2 3D 机器视觉应用于定位引导 3D 机器视觉技术用于定位引导已成为热点,在自主导航、物流、工业自动化等领域得到广泛应用。自主导航利用 3D 机器视觉技术,让机器人在未知环境中进行规划和导航。基于 3D 视觉的同时定位与建图技术是自主导航的关键技术之一。在物流过程中,3D 机器视觉技术用于检测与识别物体的位置与形状,并根据此信息规划机器人的运动轨迹。同时,可以使用 3D 视觉技术进行货物的尺寸、状态检测。在工业自动化领域,3D 机器视觉技术用于上下料、焊接、打磨、拆码垛等工业生产过程中,机器人可以更加智能地执行作业。(1)基于 3D 视觉引导定位的焊接自动化自动化焊接可以大幅度提高焊接的精度、质量和生产效率。通过 3D 视觉传感器获取工件的三维空间信息,并利用该信息实现精确的焊接控制,可以实现高质量和高效率的生产。基于 3D 视觉技术的焊接自动化技术具有高精度、高效率、适应性强和人力成本低的优点。Rajaraman 等59通过点云匹配的算法实现目标定位,引导焊接机器人作业,用平板焊接件测试,相比传统手工焊接,节省大量时间。Peng 等60基于机器人 UR3 和 RGB-D 相机设计了集成的智能焊接机器人系统,包含焊接坡口检测和焊接轨迹生成方法。Zhou 等61基于手势控制操作机器人多角度采集数据,实现三维重建,通过检测边缘点提取焊缝,并生成焊接轨迹,引导机器人作业。基于 3D 视觉技术的焊接自动化能够高效精确实现焊接轨迹生成,引导机器人运动,未来焊接趋向自由化、灵活化,执行焊接任务的复杂度和精细度越来越高,提高感知系统的鲁棒性和焊接机器人的精度是实现柔性焊接的关键研究方向。(2)基于 3D 视觉引导定位的打磨自动化基于 3D 视觉技术的打磨自动化是指利用 3D视觉技术实现对工件表面的自动定位和控制机器人运动,从而实现自动化打磨的技术方案。该技术主第 4 期马宏宾 等:3D 机器视觉发展及其工业应用综述57 要应用于工件表面高质量的精细加工领域,具有自动化程度高、加工效率高、加工精度高、质量稳定等优点。具体来说,该技术方案主要包含以下 3 个模块:视觉检测模块,通过激光扫描或结构光等方式采集工件表面的 3D 点云数据,并利用算法进行图像处理和分析,获取表面结构和特征信息;视觉引导定位模块,基于待打磨区域特征,运用 3D 视觉引导定位技术实现打磨轨迹规划;机器人模块,采用多自由度机器人进行加工操作,通过控制机器人的运动轨迹、动作和力度等参数,使其按照指定的要求对工件表面进行自动化加工。相比于传统的手工打磨和半自动化打磨,基于 3D 视觉引导定位的打磨自动化技术具有作业效率和精度高、节省人力成本、加工质量可靠、适应性强等优点62。Li 等63实现了基于工件的点云数据进行自动磨削的路径规划方法,使用深度相机采集点云数据,通过曲面拟合生成磨削轨迹。Feng 等64提出了基于点云数据特征的轨迹生成方法,实现对自由曲面上的焊缝进行高效磨削加工。通过特征识别可靠提取焊缝特征,并采用 B 样条拟合方法生成平滑曲线,引导机器人作业,极大地节省了打磨时间。作者团队针对水轮机叶片、大巴车表面等打磨问题,结合深度相机和工业机器人,实现自动打磨。以大型铸件打磨为例,设计了自主打磨平台,通过分别搭载相机和打磨头的双机械臂的相互配合,实现数据采集与打磨作业,具有适应性高、打磨准确等特点。如图 5 所示,图 5(a)为待打磨铸件,图 5(b)为自动生成的打磨路径可视化结果。基于 3D 机器视觉技术的自动打磨方法大大节省了人力成本,提高了打磨效率。同时,结合力控传感器,可以实现柔性打磨。随着人口结构变化,自动打磨的需求越来越迫切,将更加智能化的算法应用于打磨作业,设计更精准、工件适应性更高的自动打磨系统是重要研究方向。4问题与展望4.1现阶段存在的问题尽管 3D 机器视觉的关键技术与应用取得巨大进展,但在实际工业应用过程中仍存在诸多问题,如硬件品类多、接口复杂、难以统一、点云数据量大、计算成本高等。(1)点云采集与处理的软硬件问题3D 机器视觉通过深度相机采集点云数据。国内外深度相机公司竞争激烈,如深视智能、梅卡曼图 5大型铸件打磨应用Fig.5Application of large casting grinding德、SICK、ZIVID 等,众多相机厂家拥有各自的软硬件接口。对于点云处理软件开发,使用不同相机时,需要根据不同的数据接口更改软件,使用困难且价格昂贵。当前国内的点云处理软件通常只适配单一相机接口,难以根据应用需求,快速适配不同精度、不同性能、不同接口的相机。国外的软件,如 Adaptive Vision、Halcon 等则需要高昂的费用,且难以实现高度定制化开发。在学术研究中通常使用 Point Cloud Library 和 Open3D 等点云处理库,能够支持大量点云处理算法。(2)计算复杂度问题点云数据数据量庞大,