耳道全自动三维重建技术研究.pdf

中国新技术新产品2024 NO.3（下）-11-高 新 技 术目前，我国工业体系已逐渐完善，类别齐全，系统完备。与此同时，随着计算机技术快速进步，三维数字化技术也快速发展，但是在工业制造、医疗和文物保护等领域中，该技术还存在很多问题，例如在工业生产制造过程中，零部件品种繁多，结构复杂，这些复杂、不规则形体的三维重建需要耗费巨大的时间和人力，但是效率很低，因此有必要研究制定一套快速、全自动化三维建模方案。在这些场景中，复杂、不规则形体三维重建的关键技术是精细、完整地获取三维准结构数据。本文以人耳为例探讨了复杂结构的三维建模问题。人耳形态各异且耳道无法直接观察，因此，对耳朵这种不规则形体的建模来说，精准构建耳朵三维模型具有重要的理论意义和实际价值。1 方案总体设计1.1 总体方案针对人耳的三维模型重建问题，本文提出软硬件结合的不规则形体全自动三维扫描重建方案。本文设计了一套硬件系统，包括空间位置传感器、计算机、机械臂、扫描仪、控制器、显示器、电源和底座，通过获取人耳三维点云数据，进行快速、全自动的耳道建模。在软件部分，通过获取各扫描路径的点云数据，进行一系列配准处理，例如噪声滤波、点云简化和点云三维重构等，重构耳朵的数据模型。在此基础上，通过耳道数据库和特征库，对采集的耳道数据进行匹配算法，找到最佳的耳道模型，完成耳廓三维重建。1.2 硬件系统构成以及选型本研究基于硬件系统三维扫描人耳，获得数据，快速、全自动采集三维点云数据。扫描仪获取的线轮廓二维数据经过六自由度机械臂处理后拓展成空间的三维数据。硬件系统由空间位置传感器、计算机、机械臂、扫描仪、控制器、显示器、电源和基座组成。“扫描仪+机械臂+空间位置传感器”构成数据采集的核心；“计算机”控制机械臂运动，采集并处理扫描仪的数据；“基座+固定装置”保证当处于不同机械臂姿态时，硬件系统扫描的平稳性和可靠性。硬件系统各部分如图 1 所示。1.2.1 六自由度机械臂本研究使用的机械臂是国产六自由度机械臂安诺 5（AR5）。机械臂由机器人本体、控制箱和示教器 3 个部分组成，如图 2 所示。调整控制机械臂姿态，一方面利用控制箱的网线与计算机建立连接，计算机发送控制指令给控制箱，控制箱执行指令来控制机械臂；另一方面可以使用示教盒编程直接控制机器人本体。耳道全自动三维重建技术研究梁毅途1徐立1，2徐刚2（1.天键医疗科技（广东）有限公司，广东 中山 528400；2.中山市武汉大学技术转移中心，广东 中山 528400）摘 要：随着人们对不规则形体三维重建的效率和精度要求越来越高，研究全新的自动获取三维信息的技术具有重要意义。本文提出一种耳道全自动三维重建技术研究方案。通过硬件系统三维扫描人耳，快速、全自动采集三维点云数据。通过软件获取各扫描路径的点云数据，进行一系列配准处理，例如噪声滤波、点云简化和点云三维重构等，重构耳朵的数据模型。在此基础上，通过耳道数据库和特征库，对采集到的耳道数据进行匹配算法，找到最佳的耳道模型，完成耳廓三维重建。关键词：耳朵模型；三维扫描；耳道；三维重建中图分类号：TP311文献标志码：A注：USB为通用串行总线；HDMI为高清媒体接口。图 1 硬件系统各部分示意图千兆网计算机显示器电源基座机械臂扫描仪HDMIUSB百兆网空间位置传感器中国新技术新产品2024 NO.3（下）-12-高 新 技 术本研究选取的线激光轮廓扫描仪是深视智能线激光扫描仪SR6260。扫描仪传感头由激光发射LED单元、传感头激光发射窗口、传感头感光窗口和高柔性连接线等组成，并搭配控制器 SR7001 和供电直流电源采集被测物体轮廓信息。1.2.2 空间位置传感器当多姿态扫描人耳时，要求人耳空间位置不变，此时得到的扫描数据是真实有效的。因此，当扫描时，为保证人耳空间位置相对不变，须在硬件平台中采用 1 套固定装置。为判别人耳固定状态下扫描效果的优劣，采用空间位置传感器来记录人头的晃动量，判断单次人耳扫描姿态，剔除不稳定扫描结果，并修正稳定扫描结果。1.2.3 其他硬件模块为实现空间位置传感器、机械臂和扫描仪与计算机、供电设备和控制设备之间的相对固定配合，采用艾顿（iOptron）重型立柱三脚架作为基座，用于支撑和固定各硬件模块。在扫描过程中，当扫描真人人耳时，为了减少人体晃动造成人耳偏移的情况，降低因晃动带来的误差，使用侧立板、小平板和左右支撑板等零部件固定人体头部，这些零部件可缩进头盔，组成 1 套人体头部固定装置。2 系统软件设计本文的软件系统主要包括点云数据采集模组、空间位置传感器定位模组和点云数据处理模组3个模组。采集模组通过硬件平台和线激光轮廓扫描仪获取二维激光轮廓信息，结合机械臂参数计算得到三维耳廓数据。定位模组利用空间位置传感器实时追踪头部固定模块的靶标，通过数字图像处理进行靶标跟踪。处理模组则通过点云配准、点云提取、点云去噪、点云精简、第二道建模和三维建模来处理不同姿态下的三维点云数据1，系统软件流程如图 3 所示。在扫描前需要设定扫描参数，可以选择左耳扫描、右耳扫描和双耳扫描 3 种扫描姿态，搭载空间位置传感器，实时记录在扫描过程中的晃动量，同时显示相机的帧率、分辨率等信息。处理模组解算二维线轮部扫描仪的三维数据并得到耳朵数据处理软件所需的二进制文件。在解算完成后，根据空间位置传感器记录的晃动信息得到各扫描姿态的扫描稳定性，如果某姿态的扫描稳定性很差（稳定性很好：0.10 mm），则该次扫描数据不可信，须重新扫描。为了高效、全自动获取三维耳廓信息，需要设定扫描仪的姿态和运行速度，并采用多方向、多角度的扫描策略以完成三维数据覆盖。设扫描速度为 15 mm/s，决定相邻轮廓线间距，并与二维激光线轮廓扫描仪的 X 轴分辨率相适应。当实际运行时，要保证扫描仪平稳且尽量缩短运动时间。选择尽可能少但是覆盖范围广的扫描方向，为获取双耳模型，左、右耳分别设计 7 个扫描方向。以单耳（左耳）扫描姿态为例，具体扫描方向说明见表 1。表 1 扫描方向说明扫描方向说明1扫描线水平，扫描仪竖直，由上至下运动2扫描线水平，扫描仪向下倾斜45，由上至下运动3扫描线水平，扫描仪向下耳廓后侧倾斜45，由上至下运动4扫描线水平，扫描仪向上耳廓后侧倾斜45，由下至上运动5扫描仪水平，扫描仪向耳廓前侧倾斜20，由上至下运动6扫描线竖直，扫描仪水平，由左向右运动7扫描仪水平，扫描仪向耳廓前侧倾斜20，由右向左运动在得到粗筛的耳朵模型后，下一步需要从中选择 1 个三维耳朵模型作为扫描的人耳耳道数据的补充，这里用的是迭代最近点算法ICP 配准的精确配准方法。采用本方案扫描得到的耳朵点云集设为 P=p1，p2，.pm，由初筛得到的耳朵模型点云集设为 Q=q1，q2，.qm，其中m、n 为点云集中点的数量。精配准须寻找 1 组 R、T，使 P中的每个点经过变换后与 Q 中的最近点的误差之和最小，即最小化该目标函数，如公式（1）所示。f RNqRpii,TT?12（1）图 2 六自由度机械臂图 3 系统软件流程开始点云记录点云配准结束点云提取点云去噪提取特征点耳道数据 匹配耳道三维 建模扫描结果优是否扫描状态 初始化点云数据 预处理中国新技术新产品2024 NO.3（下）-13-高 新 技 术式中：f（R，T）为点云集合经过旋转和平移之后的最小平方和；N 为点云集合中点的数量；qi为数据点的旋转角；T 为平移向量；R 为最优旋转角；Rpi 为原始点云的质心旋转角。设最大迭代次数为 kmax，单次迭代的均方误差阈值为，2 次迭代的均方误差之间的差值上限为。此时相似度最高，与耳朵建模效果最佳。3 耳朵三维建模在不同方向上得到耳道数据后，融合数据，就可以得到包括耳道信息的三维数据，进行数据建模。本文采用目前点云重建效果比较好的泊松曲面重建算法，流程如图 4 所示。图 4 泊松曲面重建算法流程开始结束八叉树分割计算向量场解算泊松公式提取等值面模型拟合导入融合后的点云数据点云数据通过泊松曲面算法进行曲面重构，设内部指示函数的梯度为 1，设外部指示函数的梯度为 0，从而替代输入的源点云数据，完成曲面模型构建1。3.1 八叉树分割点云重建泊松曲面的第一步是对融合后的点云构建空间三维关系。节点函数 F0为记录点云数据的八叉树的每个节点，如公式（2）所示。FqFqbsw031?（2）式中：b 为八叉树节点的中心；q 为目标点云；w 为节点宽度；F 为基函数。F0满足以下 2 个条件。1）对 F0线性求和可以准确表达向量场 V。2）F0代表的泊松方程应当有解。3.2 计算向量场描述 F0与向量场 V 的对应关系，设 D 为八叉树深度，如公式（3）所示。F qFqD?2 （3）式中：F（q）为八叉树分割点云节点函数。3.3 解算泊松方程将曲面重建转化为求解高维泊松方程，如公式（4）所示。FFqcwwF x y zB xB yB znnn031?,*（4）式中：c 为八叉树节点中心；B（x）为点云在 x 方向的均方差（距离系数）函数；B（y）为点云在 y 方向的均方差（距离系数）函数；B（z）为点云在 z 方向的均方差（距离系数）函数；F（x，y，z）为三维节点函数。*n 为 n 个一样的函数连续卷积操作；B（s）为均方差（距离系数）函数，x、y、z 分别为该轴方向矩阵上的点云数据，如公式（5）所示。B sss?10 500 5,.,.（5）将当前临近的 8 个节点以线性插值的方式分配，N（t）为当前节点 p 的 8 个临近节点，根据指示函数中表面梯度函数向量场进行模型的表面估计，如公式（6）所示。V qFO qO N tt T?N（6）式中：V（q）为表面梯度函数向量场模型的表面；为节点函数的权重；t 为点云数据某点的 K 领域；FO（q）为点云的旋转曲度；N为该节点顶点的法向量。于是问题转为求解最小函数 x，如公式（7）所示。?xV Fx FV Foo,02002?（7）式中：V为向量场 V 的微分算子。利用在函数所在空间的拉普拉斯算子投影与 F0组成的向量|，向维向量 v 逼近，求解函数 x，如公式（8）所示。minx Rx?9Lv（8）矩阵 L 的特点是兼具稀疏与对称性，求解该矩阵可以利用多重网格法。3.4 求取等值面求取等值面是整个泊松重建的最后一步，目的是重建模型表面，为了获取点云的待建曲面，先选定一个针对求取等值面的最优阈值，完成三角面片拼接，重建表面模型2。扫描前，可以选择左耳扫描、右耳扫描和双耳扫描 3 种扫描方式，扫描仪在运动过程中计算晃动量，实时显示相机的分辨率信息。进入数据处理阶段后，会融合计算各方向的数据，得到耳朵数据处理软件需要的二进制文件。对耳朵数据进行提取、去噪和简化等预处理，得到三维模型2，如图5 所示。4 模型匹配与建模模型匹配分为粗匹配和精匹配。通过计算特征点构成的特征矩阵间的汉明距离，粗匹配得到一系列粗筛的耳朵模型，但是具体应当选择哪一个作为最终扫描人耳的耳道数据中国新技术新产品2024 NO.3（下）-14-高 新 技 术补充是未定的。精匹配是在粗匹配划定的粗筛模型中进行ICP 配准，得到相似度最高的 10 个耳朵模型，用相似度最高的耳朵模型来拟合扫描点云的耳道数据，如图 6 所示。利用本研究硬件系统和耳朵数据获取软件得到外耳廓三维点云数据。通过建立耳朵数据库以及耳模匹配，补充外耳廓点云数据，得到完整的右耳泊松重建改进参数，重建效果如图 7 所示。5 结论复杂形体能够利用全自动耳道三维重建技术进行三维建模，该技术究价值很高，应用前景广阔。本研究通过硬件系统和软件系统的配合，得到了人耳的精确三维模型。研究结果表明，该技术在精确度和自动化程度上都表现出较高水平，实用价值高。未来研究可以利用优化算法提高重建精度，扩大应用领域，为医疗、制造等领域提供更强大的技术支持。该技术在定制助听器和诊断耳朵疾病等医疗领域的应用，以及结合现有三维打印技术，为患者提供个性化治疗方案等方面也具有巨大的潜力。本研究结合硬件系统和软件系统，构建了全自动耳道三维重建技术。研究结果表明，该技术在精确度和自动化程度上都表现出较高水平。未来研究可以从以下 4 个方面进行优化。1）算法优化。进一步优化现有算法，提高重建精度和速度，为人耳和其他复杂形体的三维建模提供更强大的技术支持。2）应用领域扩大。将该技术应用于更多领域，例如医疗、制造和艺术等，为相关行业提供高效的三维建模解决方案。3）个性化治疗方案。结合现有三维打印技术，为患者提供个性化治疗方案，例如定制助听器和诊断耳朵疾病等。4）疾病诊断与预防。大量分析耳道三维模型的数据有助于发现耳道形状与疾病之间的关联，为疾病诊断和预防提供新思路。参考文献1 赵红霞，段芳，刘丁宁，等.基于逆向工程与仿生学的个性化耳机的设计 J.产业与科技论坛，2020（4）：18.2 徐东.耳印模制取方法与技巧的探讨 J.职业技术，2011（5）：9.图 7 右耳泊松重建改进参数重建效果图 6 模型拟合图 5 耳朵三维模型