一种基于视频融合增强的狭小空间盲区装配技术.pdf

中国科技信息 2024 年第 9 期CHINA SCIENCE AND TECHNOLOGY INFORMATION May.2024-118-四星推荐术，将待装配的零件的立体投影画面与原始视频流融合叠加，实现增强空间下更加有效直观的引导，主要内容包括如下。视频融合增强辅助装配系统的整体方案；多视角可视化引导与虚实注册；视频融合增强与交互引导。视频融合增强辅助装配系统的整体方案本文设计在增强现实空间下的视频辅助装配引导系统，主要基于一套吸附式迷你双目模组相机，操作者可以将相机模组吸附至其手臂上或者装配内壁，实现第一第三视角下的盲区视频信息直接感知，同时利用基于标志点识别的虚实注册技术，对视频进行逐帧的增强渲染，将需要引导的部件叠加到视频画面中去，避免盲区内部相机画面的二次遮挡问题。迷你双目相机为装配系统提供了盲区内部实时的画面信息，成为多视角可视化的硬件基础，而虚实注册主要用于提供装配视野下装配体与虚拟模型的虚实配准，成为后续的视频融合增强算法的软件核心。视频融合增强模块主要用于将真实物理视频流与待装零件对应真实位姿的 2D 投影图像融合叠加，形成融合增强的视频流信息，并通过服务器 PC 与客户端 AR 眼镜头显之间无线传输实时传递给 AR 客户端。AR 交互引导模块实现了用户在 AR 眼镜这一交互层的手部交互、键盘交互等基本交互方法。基于此用户可以对视野内的增强视频渲染窗口进行平移、旋转、缩放的交互操作，以调整视频窗口至自己舒适的角度。除此之外，用户可以在AR 交互界面选择并输入虚拟标志点的 ID 信息等，从而在虚实注册阶段传递给服务器 PC 端，完成虚实注册过程。如图1 所示，盲区视频融合增强辅助装配系统的原始数据来源为设计的第一视角或者第三视角下的视频流信息，传递给服务器 PC 后进行运算处理。虚实注册过程需要在装配引导开始，在 AR 客户端 Hololen2 通过用户交互输入虚拟标志点 ID 信息等，从而获取其模型坐标系下的 3D 坐标。多视角可视化引导与虚实注册多视角可视化引导方案如图 2 所示，在研究开展初期，采用了两种微型 USB摄像头来测试实现本文定义的第一视角和第三视角画面。在第一视角画面时，借助工具手套将摄像头和手部连接起来，在第三视角将微型相机模组一次性固定在某一装配区域的一侧。通过测试以及简单的用户实验与交流发现，第一视角画面和第三视角画面本身的固定方式太过单一并且无法调节，如果用户需要调整画面的装配视角，调整花费的时间和精力行业曲线开放度创新度生态度互交度持续度可替代度影响力可实现度行业关联度真实度一种基于视频融合增强的狭小空间盲区装配技术王一腾王一腾中国飞行试验研究院在飞机装配过程中，由于产品内部结构复杂，手工操作过程中难免存在视线遮挡情况下的盲区装配工况，操作者的手部、手中握持的物体、部分独立零件和产品内部结构等均可能不可见，视觉信息的缺失导致装配效率低、错误率高、操作易疲劳等问题。针对此类问题，本文开发了一个在增强现实（AR）空间下的视频融合增强辅助装配引导系统，装配者可以自由地将迷你相机模组布置在手臂或者狭小的盲区空间内部，以此获得盲区第一人称视角（FPV）视频或者第三人称视角（TPV）视频信息，并在 AR 空间内选择舒适的角度进行盲区环境的直观感知。同时为了引入更直观的装配引导信息并解决盲区内部可能发生的对相机画面的二次视野遮挡问题，本文融合基于双目视觉的虚实注册技术与视频融合增强及交互引导技-119-CHINA SCIENCE AND TECHNOLOGY INFORMATION May.2024中国科技信息 2024 年第 9 期四星推荐畸变标定采集图片单相机标定立体标定实时采集图像畸变校正图像预处理标志点识别极线搜索标志点空间坐标多幅图像检测虚实空间变换内外参数矩阵虚拟标记点获取相机标定标记点识别及双目查阅装配工艺安装标定螺栓输入对应ID建立3D点查找表完成虚实注册图 4 面向多视角可视化的虚实注册方案图 1 系统数据传输（a）第一视角（b）第三视角图 2 盲区视角画面第一视角（1）连接方式（2）手部固定引导方式（3）FPV 画面第三视角（1）连接方式（2）盲区固定引导方式（3）TPV 画面图 3 迷你双目相机模组及双视角固定画面的视角。吸盘的设计原理为当用户将相机模组垂直时，同时产生非线性运动，对吸盘进行加固。在实际操作过程中，用户可以通过调整相机模组的俯仰角，并通过吸盘固定在场景的位置实现任意角度的画面获取。面向多视角可视化的虚实注册方案在狭小空间盲区装配过程中，基于传统标识码的虚实注册方法存在无基准、精度低、易遮挡等诸多问题。一般情况下，标识码会贴在盲区外部等易识别、易操作的位置，用户需要在开始 AR 辅助引导开始进行虚实注册初始化，而标识码除了本身和装配体之间没有基准配合以外，标识码所贴的位置往往和需要装配引导的工装位置偏离较大，随着装配引导视角的推移，虚实注册累积误差越大，用户往往需要重新从盲区空间撤离，回至虚实注册标识码位置进行重新注册。本研究设计了一组包含标志点信息的螺栓柱，在装配操作盲区内部，相机视野可见区域内，在装配开始之前用户将含有标志点信息的螺栓柱放置在装配区域，建立起真实装配体和虚拟模型之间的联系，最后根据双目视觉以及立体匹配等相关技术进行配准。面向多视角可视化的虚实注册方案主要包含三个部分：相机标定、人工标志点识别和立体匹配三个过程，三部分的关系以及实现的方案如图 4 所示。（1）相机标定相机标定是获取相机内部参数和其与刚体世界外部参数的关键。根据已知的相机模型和成像模型，通过坐标系的转换，能够实现 3D 位置信息与像素点位置的坐标对应关系，从而建立联系。在实际情况下，相机内部需要建立相机在真实条件下的数学模型。相机的内参包括焦距、主点偏差等；外参包括相机双目间距离与位置，相机旋转角度等。（2）标志点识别由于盲区内部环境不稳定，装配环境表面纹理状态不明，自然特征点本身不便应用。如前文所述，本系统采用能够与已有部件的较高基准部位相关联的螺栓柱，在螺栓柱的背面贴附或者加工带有标志点的标识，从而让虚实匹配的精度基准转换为工件本身的基准上。如图 5 所示，非编码点的结合形状以简单为宜，否则会影响它的自动识别与测量，非编码点通常采用黑白相间的颜色。编码标志点与非编码点的不同是前者具有唯一的身份信息，主要包含两大类：一种同心圆环型，如图 6（a）、（b）；将会太多。如图 3 所示，最终的硬件方案为，设计一个双目相机模组以及第一视角和第三视角下的固定连接装置。在第一视角下，相机画面的视角可以随手臂的移动来自行调整。同时，相机模组和第一视角第三视角之间的连接可以通过卡扣进行随时连接与更换。如图 3（a）所示，在第一视角引导时，用户需要佩戴一个工装手套，将相机模组与手套上的连接板通过类似的卡槽连接，同样，在用户手部动作的配合下，用户可以实现任意角度的视频画面。如图 3（b）所示，在第三视角下，用户可以通过吸盘来随时调整相机模组的位置，并且可以通过铰链来调整视频中国科技信息 2024 年第 9 期CHINA SCIENCE AND TECHNOLOGY INFORMATION May.2024-120-四星推荐另一种点分布型，如图 6（c）、（d）。本研究采用同心原形标志点进行标记，在识别过程中保证旋转、平移和比例的不变性、便捷的检测和定位以及较高的标志点定位精度。（3）虚拟标志点获取要完成虚实注册过程，需要知道人工编码标志点和装配部件上相对应的虚拟空间的 3D 坐标，再进行立体配准后完成虚实坐标转换结果的计算。因此，在系统开始盲区装配引导之前，需要将可以用来安装标志点螺栓的孔位中心 3D 模型坐标点建立查找表。在装配引导过程中，用户在将标志点螺栓安装前或者安装后，在 AR 眼镜端输入相对应的虚拟3D 点 ID 信息，利用已经建立好的查找表索引到对应点的模型坐标，为后续的立体配准提供数据基础。视频融合增强与交互引导通过虚实注册过程，我们实现了双目相机模组坐标系和数字模型坐标系的统一，可以将装配过程中需要引导的零件模型实时转换到双目相机模组坐标系下，为视频融合增强的实现提供数据支持。视频融合增强有助于解决盲区装配过程中由线缆、散落零件、手等物体产生的视频画面的二次遮挡问题。视频融合增强算法（1）虚拟数模加载与注册本研究中的虚拟代理模型为盲区装 d 配过程中的角片，具体所需要的模型信息包含了 OpenGL 渲染所需的顶点坐标、纹理坐标以及三角面片信息，模型文件格式采用的是Wavefront 公司提出的 OBJ 格式。在渲染端一般称一个网格（Mesh）为一个可绘制的实体模型，针对本文研究，一个网格至少要包含一组顶点，每个顶点包含坐标信息以及纹理坐标信息，同时包含三角面片绘制用的顶点索引信息。在 OpenGL 中，顶点坐标信息、顶点纹理坐标信息和顶点索引信息都存储在对应的缓冲之中，叫作顶点缓冲对象（Vertex Buffer Objects，VBO），它的作用是为了向GPU 快速发送渲染模型相关的大量数据，结合相应的身份绑定与注册便可以使用这个 VBO 来向渲染管线传输加载想要渲染的虚拟代理模型。但是 OpenGL 不会渲染只存储不解释的 VBO，所以需要对 VBO 中的数据进行解释，顶点数组对象（Vertex Array Object，VAO）可以像 VBO 那样存储对 VBO 中的数据的解释，在本文中 VAO 所存储的是VBO 中分别对顶点坐标信息、顶点纹理坐标信息的解释。（2）虚拟数模 2D 投影及畸变矫正过虚实注册的流程之后，虚拟代理模型会通过的坐标变换转换至相机所在的视锥体空间，等同于配置好了相应的局部空间、世界空间、观察空间的一致性。这其中涉及的关键是模型（Model，M）、视图（View，V）、投影（Projection，P）三个矩阵的建立，虚实注册过程会将模型（Model，M）、视图（View，V）配置完成，最后要实现基于 OpenGL 的准确空间投影最重要的是配置好渲染主相机的参数，也就是矩阵。本研究的核心思想就是将相机标定模型与矩阵配置一致，通过透视投影到达裁剪坐标系，通过视口变换即可等价映射到屏幕空间中，最终实现虚拟代理模型 2D 投影。如公式（1）所示，投影矩阵就是确定相机参数的矩阵，假定投影仪的等效横纵比为 Aspect，竖直视场角（Field of View）为 FOV，那么有如下投影矩阵 P：（1）式中：FOV视场角；Aspect纵横比；zFar Z 轴远平面参数；zNear Z 轴近平面参数。上式的 zFar 和 zNear 都是自由设定的，能够覆盖所需投影物体深度范围即可，通过投影仪标定得到式（2）、（3）中的内参即可得到投影矩阵中的 Aspect 和 FOV：（2）（3）MVP 矩阵设定完成之后，便可基于真实物理世界的点渲染其在虚拟空间中的位置，并经过投影仪投射到真实物理空间中的位置，达到虚拟数字模型 2D 准确投影的效果。由透镜形状引起的畸变称作镜像畸变，由于透镜的影响，在线性模型下投影到像素平面的直线变成了曲线，此现象越靠近图像的边缘越明显。如图 7 所示为径向畸变中的桶形和枕形畸变：他们的偏移量都是随着离开中心的距离增加而增加。由此，可以用泰勒级数来模拟修正量：xcorrect=x（1+k1r2+k2r4+k3r6）ycorrect=y（1+k1r2+k2r4+k3r6）（4）其中 r 表示的是点到坐标系原点的距离，（x，y）是未纠正点的坐标，（xcorrect，ycorrect）是纠正后点的坐标，它们都是归一化平面上的点。对畸变越严重的情况，使用更多的畸变项 k。由于相机组装过程中，透镜与成像平面无法严格平行，则会引入切向畸变。切向畸变如图 8 所示。对于切向畸变，根据几何关系，可以使用另外两个参数p1，p2来描述：图 5 常用的非编码标志点图案（a）同心圆环型一（b）同心圆环型二（c）分布型一（d）分布型二图 6 编码标志点类型-121-CHINA SCIENCE AND TECHNOLOGY INFORMATION May.2024中国科技信息 2024 年第 9 期四星推荐xcorrect=x+2p1y+p2（r2+2x2）ycorrect=y+p1（r2+2y2）+2p2x （5）上文所述的投影流程存在一个较为重要的问题是根据矩阵配置的渲染管线是符合相机小孔成像原理的理想模型，然而实际应用过程中正如前文所述，相机本身的传感器存在切向畸变、径向畸变等，需要对透视投影获取的 2D 图片矫正，使其满足真实的物理模型。在本研究中，为了保证视频流信息的传输帧率，并没有对视频流的每一帧信息进行去畸变处理。因此，为了 2D 投影图像与真实采集的视频流画面准确融合，需要对虚拟数字模型的2D投影模型进行加畸变处理。在相机成像过程中，引起畸变的主要是径向畸变参数，且为了保证算法的效率，本文仅对径向畸变参数做畸变处理。标定得到的畸变参数就是加畸变时应该施加的畸变参数，基于OpenGL 的去畸变过程需要借助着色器（shader）程序来完成。着色器程序作用于渲染的几何阶段与光栅化阶段，都是在GPU 端进行的，所以通过片元着色器能够很快地进行畸变的处理，具体着色器内编写的程序就是基于公式（4）的计算过程。视频流窗口可视化与系统交互在视频融合增强辅助装配过程中，操作者一方面需要在某一装配零件进行零件选择以及标定螺栓虚拟 3D 点集的获取，另一方面融合增强的视频流需要便捷地在 AR 空间展示且具备 3D 交互的需求。如图 9 所示为 Unity 平台开发的交互界面。界面下方为如图 11 所示的菜单栏，菜单栏会随用户的移动而相对移动，始终位于用户视野下侧位置。系统主要包含引导前的信息输入及实时画面引导两种界面模式，通过菜单栏的第一个按钮Model Change 来进行切换，菜单栏的后三个按钮用来切换AR 空间手部交互的不同模式。如图 9 上侧的虚拟模型和右侧的交互输入为模式一对应的信息输入界面，主要包括装配任务选择和虚拟 3D 点选择两个功能。其中装配任务选择的主要目的是选择视频画面图 11 主菜单栏图 9 系统软件界面图 10 射线交互选择（a）枕形畸变（b）桶形畸变图 7 径向畸变类型图 8 切向畸变原理示意图需要融合叠加的虚拟数模以及用来虚实配准的 4 个虚拟 3D点信息。如图 10 所示，用户可以通过手部射线或者触摸来与想要选择的零件进行碰撞检测，发生碰撞高亮后合并拇指和食指进行确定，所选零件会被渲染变色。当用户点击Choose 功能后开启选择模式，用户首先进行待装零件选择，之后采用同样的交互方法选择需要虚实引导的孔位3D信息，选择确定后也会在右侧显示。当用户将待装零件和虚拟 3D点信息选择结束后，点击 Confirm 按钮会完成信息输入，并通过 Socket 网络传输给本地 PC 端。结语本文提出了一种盲区多视角可视化引导装配技术方案。有助于解决传统增强现实狭小空间盲区装配引导过程中 AR 引导内容有局限，信息反馈不及时，而基于手部追踪，场景重建等设备在狭小空间难布置、精度差、操作难的问题；本文完成了基于立体投影的视频融合增强与交互引导算法研究，通过迷你相机模组的视频画面给装配工人带来给直观的引导，解决了盲区内部由线缆、散落零件、手等物体产生的视频画面的二次遮挡问题，有效提高了复杂产品零部件的装配效率。