基于单目结构光的手型、脚型三维轮廓测量系统设计.pdf

Equipment Manufacturing Technology No.7袁20230引 言随着国民生活水平的提高以及日益增长的物质文化需求，穿戴产品的需求也逐步由合适性向舒适性发展。如何生产具有大众化舒适性的穿戴产品将是未来占据市场的必备条件之一。然而每个人同一部位的三维轮廓差异性明显，目前产品的批量化、重复性生产制作并不能让每个人都觉得舒服。定制化将是实现产品舒适化的关键。而定制化的前提是如何快速、低成本地获取穿戴部位的三维轮廓数据。机器视觉具有高精度、非接触、快速等优点，在工业生产、产品检测中备受关注1-3。目前获取物体三维轮廓数据的方式有很多，主要包括基于三坐标机的三维测量技术以及基于结构光视觉的三维重构技术。前者采用接触式测量方式，可以获取很高的测量精度，对环境适应性也很强。但是其测量速度很慢，难以满足工业大规模生产需要。后者是一种非接触测量技术4，主要是将编码图案投射到物体表面，再用相机接收被物体调制的编码图案。根据图案中包含的物体信息进行解析，最后获取物体的三维轮廓。该方案具有结构简单、测量快速、成本低等优势，是目前主流的三维测量方法。根据实际的工业定制化生产需求，基于单目结构光三维测量技术为手型和脚型的三维数据获取设计了光机结构平台，并搭建了相关的软件分析平台，最后通过手模的三维测量验证所提出方案的可行性。1光机结构平台设计机器视觉测量是一种非接触式测量方法，根据手足测量习惯和视觉设备的工作特点，设计了如图 1 所示的工作平台。设计的光机结构平台如图 1 所示。平台通过三个短铝型材 32、23、16 和一个长铝型材 17 呈十字支撑。平台是由底座支撑装置、视觉旋转装置、视觉浮动调节装置、检测平台，摄像头和投影仪及其控制装置组成，控制转动装置上安置相机 3 和投影仪 30。视觉浮动调节装置选择使用一个舵机 7，并将其与摄像头与投影仪连接起来调节摄像头的对应角度。舵机模块固定在大转盘内圈 27 连接的圆盘 5 外围上，连接一块方形支架 4 来提高竖直高度，摄像头与投影仪随着旋转模块一起转动，实现摄像头的扫描工作。控制装置基于单目结构光的手型、脚型三维轮廓测量系统设计李富权，李涛，马创堂，李想，黄玉源，李明枫，高兴宇，李文杰（桂林电子科技大学 机电工程学院智能制造系统虚拟仿真实验教学中心，广西 桂林 541004）摘要：随着人们生活水平的提高，定制化产品也逐渐实现大众化。产品的三维参数快速精确获取是定制化产品的前提。基于结构光三维测量技术，搭建了用于手型、脚型三维轮廓测量的光机结构平台，实现了视觉旋转装置与测量对象的运动轨迹分开，保证了系统可以对测量对象无接触、简便地采集图像信息。另外，结合逆相机系统标定技术、条纹编码技术、三频外差解相技术、点云配准技术等搭建软件分析平台，集合了相机投影仪控制及标定、图像采集、三维重建，点云处理等功能。通过该软件平台可以快速进行系统标定和对数据图采集和处理，获取测量对象的三维点云数据，得到手模的三维轮廓信息。最后，进行了相机和投影仪标定实验、基于手模的三维重构实验。相机和投影仪标定的重投影误差分别为 0.04和 0.1 像素，标定结果较好。系统标定参数结合解相得到的相位可以对手模的三维重构，不同角度重构的点云进行配准融合，得到完整的手模点云，实现了手模三维参数的获取。通过系统验证了所提出方案的可行性以及有效性。本方案为手型和脚型的定制化数据获取提供有效的解决方案，有望用于相关产品的生产制造。关键词：条纹投影轮廓术；单目结构光；点云拼接；相机标定中图分类号：TP391文献标志码：A文章编号：1672-545X（2023）07-0032-04收稿日期：2023-03-15基金项目：2023 年度广西高校中青年教师科研基础能力提升项目（2023KY0212）；广西区大学生创新训练项目（S202110595115）第一作者：李富权（1998-），男，广西贵港人，硕士生，三维成像技术方向.通信作者：李文杰（1987-），男，广西桂林人，副教授，博士，硕士生导师，研究方向：三维成像技术.32装备制造技术 2023 年第 7 期放置在下方电控盒。摄像头将会视觉分析脚的形状大小，电机控制旋转装置进行 360毅旋转，舵机控制上下浮动，最终实现全方位扫描。视觉旋转装置是三维轮廓测量系统的主要结构，可以细分为旋转模块和固定模块。使用大小两个铝合金轴承转盘底座（圆形旋转轨道）与其转盘内圈 27、31 连接的两个圆盘 5、25，旋转模块是由一个圆盘 5和大轴承转盘内圈 27 及小轴承转盘外圈 24 组成，将小圆形转盘外圈 24 与大圆形转盘的上圆盘面 5 使用螺丝链接起来，使两个面紧密的固定成一个整体，同时旋转或停止，称为旋转模块；剩余的大转盘外圈 14和小转盘内圈 31 圆面 25 为固定模块。而固定模块的两个面都和底座支撑装置链接起来，从而保持静止。检测平台，即平台中心小转盘底座圆形旋转轨道的上圆盘表面 25。底座支撑装置是由铝型材制作，其中四个脚为平均分布在检测平台的四周，并通过连接件将其连接起来，连接件使用三脚件 9，并且使用螺栓、螺母、垫圈将其与视觉旋转模块固定起来，其中一个脚会较长，通过一根连接件 26 与检测平台连到一起。为了使整个三维脚形测量设备更加稳定放置，在底座支撑装置的四个脚上都固定三角件。为了保护被连接件的表面不受螺母擦伤，分散螺母对被连接件的压力，采用平垫圈，弹簧垫圈的方式解决问题。三维脚形测量设备的动力来源为电机 1，电机装在视觉旋转装置的正下方。通过底座支撑装置搭起来的一个铝架横梁，电机固定在铝架横梁上面，而又通过法兰盘与视觉旋转装置连接起来，用于传递动力。检测平台需要测试者放手足上去，因此视觉旋转装置的承受能力比较大，为避免电机受力太大，视觉旋转装置的整个重量是通过 4 个三脚件与 4 个四个铝型材脚，传递到整底座支撑装置。本平台是视觉旋转装置与测量对象的运动轨迹分开，使视觉旋转组件能够对测量对象进行非接触测量，对测量对象进行三维测量，并进行快速、高精度的测量。2基于条纹投影的三维测量技术图 2 为单目结构光的三维测量原理5，投影仪将正弦光栅条纹图像投射到被测物体表面。条纹图像被物体三维轮廓调制而发生变形，之后被相机捕获。对变形条纹图像进行解相，获得被测物点 B 在投影仪图像中对应的绝对相位，以及在相机中的像素坐标，最后根据三角关系获取该物点的深度信息。整个过程主要涉及系统重构技术、相机标定技术，以及条纹解相技术。2.1 单目结构光三维重构技术如图 3 所示，只要找到物点在相机和投影仪中的同名点对即可实现该物点深度信息的获取6。相机和投影仪的单应性矩阵有它们的内外参组成，具体的表达为：Hc=AcMc=hc11hc12hc13hc14hc21hc22hc23hc24hc31hc32hc33hc34杉删山山山山山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫衫衫衫衫（1）图 1光机结构平台3124527149303742526171623132图 2单目结构光测量原理投影图像投影仪相机感光板相机被测物BCA图 3三维重构原理P相机平面投影仪平面pc（uc，vc）pp（up，vp）OpOc33Equipment Manufacturing Technology No.7袁2023Hp=ApMp=hp11hp12hp13hp14hp21hp22hp23hp24hp31hp32hp33hp34杉删山山山山山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫衫衫衫衫（2）其中，Ac，Mc分别为相机的内参和外参，Ap，Mp分别为投影仪的内参和外参。可由相机标定获得。根据单应性矩阵与世界坐标的关系，联立求解即可获得该点的三维坐标（x，y，z）：xyz杉删山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫=hc11-uchc31hc12-uchc32hc13-uchc33hc21-vchc31hc22-vchc32hc23-vchc33hp21-vphp31hp22-uphp32hp23-uphp33杉删山山山山山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫衫衫衫衫-1uchc34-hc14uchc34-hc24uphp34-hp14杉删山山山山山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫衫衫衫衫（3）式中，（uc，vc）为相机中被测点的像素坐标，（up，vp）为投影仪中被测点的像素坐标，由相位转换而得。2.2 相机标定如图 4 所示。图中坐标系包括世界坐标系 Ow-XwYwZw，相机坐标系 Oc-XcYcZc，图像坐标系 Oi-xy 以及像素坐标系 O0-uv。世界坐标与像素坐标系之间的关系联立起来可以表示为7，8：Zcuv1杉删山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫=fx0u000fyv00001 0杉删山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫R T0T1蓘蓡XWYWZW1杉删山山山山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫衫衫衫=AMP=HP（4）其中 R 为旋转矩阵，T 为平移向量，（u0，v0）为图像坐标系的原点，fx和 fy分别表示相机在 x 和 y 方向的焦距，A 和 M 表示相机的内参和外参。2.3 基于条纹投影的解相技术条纹图像是标准正弦分布，则其光强分布函数为：Ii（x，y）=I忆（x，y）+I义（x，y）cos准（x，y）+啄i（5）其中 I忆（x，y）为图像的平均灰度，I义（x，y）为图像的灰度调制，啄i分别为图像的相位移，准（x，y）为待计算的相对相位值（也被称为相位主值）。其中 I忆（x，y），I义（x，y），准（x，y）为 3 个未知量，因此要计算 准（x，y）至少需要使用三张图像。在本设计中采用标准的四步相移算法计算光栅图像的相位主值，四幅光栅图像的相位移分别为：0，仔/2，仔，和 3仔/2，建立 4 个方程，采用最小二乘法求解折叠相位：准（x，y）越 arctanI4-I2I1-I3蓸蔀（6）由于采用反正切计算，其相位折叠在之间0，2仔呈现周期性变化，相位值不具有唯一性。通过外差原理，可以将相位主值展开为连续变化的绝对相位值。外差原理是将不同频率的相位函数，叠加得到频率更低的相位函数。其计算过程如图 5 所示，姿1，姿2，姿b分别为相位函数 渍1（x），渍2（x），渍12（x）为对应波长。经过外差后的相位值为：渍12越 吟渍 越渍1-渍2渍1逸 渍22仔+渍1-渍2渍1 渍2嗓（7）波长为：姿b=姿12=姿1姿2姿2-姿1（8）根据式 椎 越 2仔n+渍 得到展开相位。3实验验证3.1 系统标定采用德州仪器公司的 DLP4500SL02 投影仪投射水平和竖直方向的正弦光栅，采用维视智造公司的MV-EM200C 型号工业相机对图像进行采集，使用C+编写软件界面进行系统标定。系统标定主要是得到相机和投影仪的内外参数，从而可以获取系统二维图像像素点与物体三维坐标点之间的关系。具体标定步骤为：（1）投影仪投射水平方向的条纹图案，相机捕获图案并计算得到水平方向的绝对相位值。（2）投影仪投射竖直方向的条纹图案，相机捕获图案并计算得到竖直方向的绝对相位值。图 4相机成像坐标系O0vpuOcXcZcYcO1yxXwOwZwYwP图 5基于外差原理的相位展开phase渍1渍22仔姿1姿2phase2仔0n*姿b渍12nn34装备制造技术 2023 年第 7 期（3）检测圆中心。（4）通过相位图建立的映射关系确定相机圆心所对应的投影仪圆心。（5）重复（1）-（4）的步骤，拍摄不同姿态的图像。（6）利用标定程序获得相机和投影的内外参数。图 6 为相机捕获界面及标定板水平方向的光栅图和竖直方向的光栅图。相机和投影仪标定的均方根误差如图 7 所示。3.2 手模三维重构实验实验中，使用一般的石膏手模作为被测对象，如图 8（a）所示。使用上述工作平台对石膏手模采集图像数据，将石膏手模固定在置物组件中，转动机构带动相机和投影仪进行旋转。转动机构每旋转 15毅，采集一次图像数据。图 8（b）为每次拍摄角度的原图，图9 为某个角度拍摄的部分光栅图。图中的标志点用于后续的图像拼接。某个角度的点云如图 10 所示。图 10点云图图 6相机捕获界面和标定板光栅图相机界面开始标定需 15 次标定图 8石膏手模原图和旋转拍摄图（a）1234567891011121314151617181920212223（b）图 9石膏手模部分光栅图010203040506070809101112图 7相机和投影仪标定均方根误差相机标定的重设影误差0.0450.040.0350.030.0250.020.0150.010.00501234567891011 12 13 14ImagesOveral Mean Error:0.04 pixels投影仪的重设影误差1234567891011 12 13 14ImagesOveral Mean Error:0.09 pixels0.140.120.10.080.060.040.020（下转第 51 页）35装备制造技术 2023 年第 7 期cal investigation of combined isotropic-kinematic hardeningbehavior of sheet metals J.International Journal of Plasticity，2009，25（5）：942-972.9 Dziallach S，Bleck W，Blumbach M，et al.Sheet Metal Test原ing and Flow Curve Determination under Multiaxial ConditionsJ.Advanced Engineering Materials，2010，9（11）：987-994.10 Zhao K，Wang L，Chang Y，et al.Identification of post-necking stress-strain curve for sheet metals by inversemethodJ.Mechanics of Materials，2016，22（6）：161-169.11 Kim J H，Kim D，Han H N，et al.Strain rate dependent ten原sile behavior of advanced high strength steels：Experimentand constitutive modeling J.Materials Science And Engi原neering A，2013（559）：222-231.12 Ohno N，Wang J D.On modeling of kinematic hardening forratcheting behaviour J.Nuclear Engineering And Design，1995（153）：205-212.13 Chaboche J L，Jung O.Application of a kinematic hardeningviscoplasticity model with thresholds to the residual stress re原laxation J.International Journal of Plasticity，1997，13（10）：785-807.14 Geng L，Wagoner R H.Springback analysis with a modifiednon-linear hardening modelR.Detroit，Michigan：SAE2000，World Congress，2000.15 Frederick C O，Armstrong P J.A mathematical representa原tion of the multiaxial Bauschinger effect J.Materials At HighTemperatures，2007（24）：11-26.16 Dafalias Y F，Popov E P.A model of nonlinearly hardeningmaterials for complex loadingJ.Acta Mechanica，1975（21）：173-192.17 Krieg R D，Krieg R D.A practical two surface plasticity the原oryJ.Journal of Applied Mechanics，1975，42（3）：641-646.18 Chaboche J L.Time-independent constitutive theories forcyclic plasticityJ.International Journal of Plasticity，1986（2）：149-188.19 Barlat F，Gracio J J，Lee M G，et al.An alternative tokinematic hardening in classical plasticityJ.InternationalJournal Of Plasticity，2011，27（9）：1309-1327.20 Barlat F，Ha J，Gracio J J，et al.Extension of homogeneousanisotropic hardening model to cross-loading with latent ef原fectsJ.International Journal of Plasticity，2013（46）：130-142.得到不同角度的点云数据后，使用 PCL 点云库的相关算法进行点云拼接9，如图 11 所示。最终得到手模完整的点云模型，如图 12 所示。在 cloudcompare中，对点云大小、颜色进行设置，查看点云的相关参数，最终完成石膏手摸的三维轮廓测量。4结 语基于条纹投影结构光三维重构技术的手型和脚型定制化制造是通过三维轮廓的获取设计光机平台，利用 C+编程开发的有关点云数据算法。最后基于系统标定和手模的三维点云数据获取验证了所提出方案的可行性以及优越性。设计的软件已集合相机投影仪控制及标定、图像采集、三维重建等功能，后期可根据实际需求进行补充完善。参考文献：1 吴连伟，李文博，王平，等.基于视觉控制的防错技术研究及应用J.装备制造技术，2022（11）：193-196.2 赵泽鑫，丁畅，高兴宇，等.基于机器视觉的水上救援装置设计J.装备制造技术，2022（9）：29-33.3 黄扬，徐少磊，盖国平，等.基于机器视觉的生丝抱合电子检测系统设计J.装备制造技术，2022（6）：5-10.4 左超，张晓磊，胡岩，等.3D 真的来了吗？三维结构光传感器漫谈J.红外与激光工程，2020，49（3）：9-53.5 Feng S，Zuo C，Zhang L，et al.Calibration of fringe projectionprofilometry：A comparative review J.OPT Laser ENG，2021（143）：106622.6 殷永凯，张宗华，刘晓利，等.条纹投影轮廓术系统模型与标定综述J.红外与激光工程，2020，49（3）：127-144.7 Xing S，Guo H.Iterative calibration method for measurementsystem having lens distortions in fringe projection profilometryJ.OPT Express，2020（28）：1177.8 Zhang Z.A flexible new technique for camera calibrationJ.IEEE Transactions on Pattern Analysis and Machine Intelli原gence IEEE Transactions on Pattern Analysis and MachineIntelligence 2000（22）：1330-1334.9 雷玉珍，李中伟，钟凯，等.基于随机抽样一致算法的误匹配标志点校正方法J.光学学报，2013，33（3）：212-219.图 11点云拼接图 12点云显示（上接第 35 页）51