载人潜水器VR系统研究及工程应用.pdf

引言风浪流、海底地形地貌等诸多未知变化因素，对潜航员的作业操作提出了更高的要求。近年来利用虚拟现实技术（VR），构建沉浸式交互体验平台，真实地模拟深海环境及海底作业过程，成为辅助设计人员开展设计、潜航员开展操作训练的有效手段1。目前，国内外主要开展了可视化深海机器人视景仿真研究、深潜器虚拟运动仿真系统和训练模拟器等方面的研究。美国海军研究生院为水下机器人“Phoenix”建立了三维水下虚拟视景，可以实时模拟水下实际环境的一些显著特征2；日本东京大学在水下机器人虚拟视景仿真方面构造了多个型号机器人的仿真模型，包括“ALBAC”、“TWIN-BURGER”等自主式水下机器人，并在仿真环境下进行调试3-4；中国船舶科学研究中心通过 MultiGen Creator 和 Vega 仿真软件平台开发出一套深海机器人视景仿真系统5，并在中国科学技术馆展馆项目上获得成功应用；中科院沈阳自动化研究所通过运动仿真和控制系统完成了排爆机器人教学模拟训练系统6-7；哈尔滨工程大学基于虚拟现实的最新成果研制开发高度逼真的潜艇航行训练系统8。本文分析了载人潜水器 VR 系统研发的关键技术，介绍了我国具有自主知识产权的载人潜水器 VR 系统设载人潜水器VR系统研究及工程应用钱卫东1，管芳景2,3，徐 源1，林 达1（1.中国船舶科学研究中心，江苏 无锡 2140822；无锡环境科学与工程研究中心，江苏 无锡 214153；3.无锡城市职业技术学院 物联网工程学院，江苏 无锡 214153）摘 要：本文介绍具有自主知识产权的深海载人潜水器VR系统研发情况。在对国内外潜水器视景系统最新发展动态分析的基础上，以应用需求为驱动，开展深海载人潜水器 VR 系统顶层设计，确定了研究目标、主要研究内容，进行了关键技术分析，给出了系统研发的总体思路。VR 系统在“深海勇士号”载人潜水器的应用示范结果表明，载人潜水器 VR 系统的建立，可显著缩短设计周期，降低研制中的试验成本。关键词：载人潜水器；VR 模型体系；人机工程分析；VR 多人协同中图分类号：U665.2 文献标识码：A DOI:10.19727/ki.cbwzysc.2023.06.019引用格式钱卫东,管芳景,徐源,等.载人潜水器 VR 系统研究及工程应用 J.船舶物资与市场,2023,31(6):58-60.计方案，以及在国产 4500 m 级深海载人潜水器“深海勇士”号上的应用情况。1 深海载人潜水器 VR 系统关键技术1.1 VR 系统模型体系构建技术VR 系统模型是潜水器 VR 系统的重要组成要素。VR 系统模型主要由以下部分组成：1）用于虚拟设计的潜水器三维几何模型；2）潜水器航行运动仿真的数学模型；3）用于 VR 虚拟场景的海洋地形、地貌、热液喷口、深海生物、钴结壳等环境模型；4）用于人-机-环评估的人体数据模型、光照模型等。针对深海载人潜水器仿真设计、制造与培训等不同阶段的 VR 系统需求，进行模型需求分析，识别建模及模型转换关键点，形成潜水器 VR 系统模型体系，同时考虑模型的重用性、可扩展性与可维护性，建立标准，最终形成 VR 系统模型库，支撑 VR 系统研发。1.2 VR 人机工程分析与评价技术基于虚拟现实、人机操作分析、动作捕捉等技术，在 VR 环境中，将动作捕捉映射到潜水器的操控识别，形成载人潜水器的虚拟人模型和虚拟操控模型，这些模型作为人机工程学建模和评价的基础。之后开展数字化设计、制造及仿真验证，并最终返回到 VR 系统开展操作台舒适性、装配合理性及人-机-环境健康性等人机收稿日期：2022-12-15基金项目：国家重点研发计划资助项目（2018YFC0309300）作者简介：钱卫东（1985-），男，硕士，高级工程师，研究方向为船舶 CAE、船舶信息化。第 6 期 59 工程验证。该技术主要包括基于人机交互驱动的载人潜水器虚拟样机建模和基于动作捕捉-操作识别的人机工程学建模。1）基于人机交互驱动的载人潜水器虚拟样机建模研究 NURBS 曲面模型转化为多边形网格模型技术，可快速将 CATIA 模型（如海水泵、机械臂、推进器等载人潜水器关键部件数字模型）导入 VR 系统，实现虚拟场景中六自由度查看模型，通过自然的手部交互方式，体验缩放、旋转、剖面等功能的操作感受，寻找模型中不合理的设计进行改进，更新到设计模型上。还可以进行虚拟装配，研究设计的可装配性，寻找不合理的设计点并进行修改。开展人-机-环境设计的评价，评价人员可以在不同距离、不同光线和不同场景下观看设计，通过在空间画出不同粗细和颜色的线条表达各种信息。基于人机交互驱动的载人潜水器虚拟样机建模技术实现了模型的导入、模型的交互以及对设计模型的更新等功能。2）基于动作捕捉-操作识别的人机工程学建模及评价基于沉浸式虚拟现实、人机操作分析、动作捕捉等技术，将设计制造及评价子系统中的操作动作进行捕捉，将动作捕捉映射到潜水器的操控识别，形成载人潜水器的虚拟人模型和虚拟操控模型，这些模型可以作为人机工程需建模和评价的基础，然后利用人机工程学原则开展数字化设计、制造及仿真验证。1.3 大范围高精度手部动作交互技术在载人潜水器 VR 系统中，手势交互设备是重要的交互方式。目前的手势交互主要设备包括机械式交互手套、计算机视觉手势识别设备和惯性交互手套。本系统结合高精度计算机视觉和大空间范围惯性交互手套的优势，使用多传感器融合技术，实现大范围高精度手部运动捕捉。1.4 多人多遮挡追踪定位技术遮挡是影响定位追踪的主要因素，在载人潜水器VR 系统设计中需重点考虑。本系统中要求有 3 名人员在小空间范围进行操控，其遮挡会时常发生，需要充分利用惯性、光学、计算机视觉等多种手段，进行多传感器融合算法的研发，实现多人多遮挡情况下的人体动作捕捉。该技术的重难点主要包括载人潜水器的 VR 多人协同操控和支撑不同操作控制和作业场景的二次开发功能。1）载人潜水器的 VR 多人协同操控。载人潜水器的操控具有鲜明的多人协同特点，其 VR 操作教学与培训系统必须支持多人协同操控。VR多人协同需要解决人人、人物接触交互的定位精度问题、多人间遮挡的系统识别问题、多对象控制渲染的高性能计算问题，本系统针对载人潜水器的多人协同操控需求，支持 23 人同时使用。2）支撑不同操作控制和作业场景的二次开发功能。针对载人潜水器不同操作模式和作业场景，提供统一的二次开发功能（包括 SDK 和开发接口），实现新的操作模式和作业场景的导入，从而不断丰富系统的功能和效果。2 深海载人潜水器 VR 系统的开发及应用2.1 VR 系统总体设计分析深海潜水器技术研发和装备制造、使用培训的VR 应用需求，以应用需求为驱动，开展潜水器 VR 系统顶层设计，理清虚拟现实支撑下的潜水器技术研发和装备制造、使用培训业务流程及边界，提出 VR 系统功能组成及架构；围绕“模型”，开展深海潜水器 VR 系统模型体系构建技术研究，提出模型接口规范，开发多层次潜水器 VR 系统模型库；开展深海潜水器 3D 设计模型到 VR 系统的转换及融合技术研究，开发模型转换接口，支撑潜水器虚拟设计制造、仿真评估、虚拟操作培训及评价，VR 系统总体设计方案如图 1 所示。总体设计方案设计技术设计载人潜水器设计/培训总装联调试验应用作业培训系统架构模型子系统模型多层次模型库总体装备拆装试验协同驾驶操作培训典型作业场景演练数据/模型层工具集成环境沉浸式虚拟交互设计功能细化技术攻关模型图纸性能试验使用培训设备验收设计测试培训演练细化建模需求定义产品确认载人潜水器VR系统基础架构层图 1 载人潜水器 VR 系统总体设计方案2.2 VR 系统研发以载人潜水器内部元器件拆解分析与装备科考场景虚拟展示系统相关研究为基础，采用关键技术研发、业务数据汇总分析与实验研究相结合的方法开展研究工作，进行深海载人潜水器 VR 系统的研发工作。VR 系统主要由基于 VR 的载人潜水器虚拟设计制造及评价模块、载人潜水器航行运动仿真模块、载人潜水器操作教学及培训模块等模块组成。1）基于 VR 的载人潜水器虚拟设计制造及评价模块。如图 2 所示，构建应用在载人潜水器设计阶段的系统，可同时将多个 CATIA 模型导入虚拟环境，并通过佩戴 VR 头显以及动作捕捉设备，在虚拟环境对模型进行多自由度查看、交互及装配等操作，开展设计合理性、可装配性以及人机工程评价，指导产品设计更新。钱卫东，等：载人潜水器 VR 系统研究及工程应用船舶物资与市场第 31 卷 第 6 期 60 VR虚拟场景海水泵模型机械臂模型液压源模型推进器模型其他模型手部交互缩放、旋转、剖面快照、添加标注精确装配CATIA海水泵机械臂液压源推进器其他服务器与VR头显动捕交互设备操控动作数据库虚拟人模型虚拟操控模型单次导入多次快速导入单模型控制多模型控制交互控制操控动作数据分析统计指导人机工程更新指导不合理设计与装配更新内容手部模型控制图 2 基于 VR 的载人潜水器虚拟设计制造及评价模块2）载人潜水器航行运动仿真模块。基于通用的 VR软硬件，通过导入三维的载人潜水器模型、水下场景和景观材质库文件，实现了虚拟的交互式航行运动仿真。该系统提供了外部数据映射接口、导入外部运动姿态数据，实现模拟载人潜水器的上升、下潜、前进、后退、坐底、悬停。该模块架构如图 3 所示。航行运动仿真数据映射接口外部的航行运动姿态数据潜器海洋子系统载人潜水器三维模型.潜器运动指令载人潜水器上升、下潜、前进、后退、坐底、悬停机械臂模型工作状态指令.支持机械臂多自由度运动模型协同配合外部输入设备的指令数据运动仿真子系统不同深度下的海洋环境变换海洋场景模型海洋环境变换图 3 载人潜水器航行运动仿真模块3）载人潜水器操作教学及培训模块。该模块应用在载人潜水器潜航员和作业员培训阶段，可实现多位受训人员同时进入训练用虚拟场景，协同完成训练任务。培训内容包括操作规程培训、模拟操作训练培训、驾驶操作训练培训、机械手及作业工具操作培训、应急与故障操作培训等，涉及的培训对象包括潜航员、下潜科学家及其他人员。目前的操作培训主要通过现场拆装教学模式，但其成本高、教学工作量大、耗时长，不利于受训人员的培训，通过对载人潜水器的海试、维护等过程中培训内容进行收集并梳理，对重要培训内容进行分类，构建载人潜水器潜航员 VR 培训体系，如图 4 所示。借助该系统，受训人员可快速掌握驾驶操作技能、水下航行与作业技能，具备应对水下突发故障与其他事件的能力。VR 系统在 4500 m 级深海载人潜水器“深海勇士”号上进行示范应用，全程参与该潜水器的前期论证、设计、制造、操作培训、维修维护等环节的工作，取得了较好的效果。3 结语本文以应用需求为驱动，针对载人潜水器 VR 系统实现了总体设计，对基于 VR 的载人潜水器系统建立的一些关键技术进行探讨，提出了具有良好交互操作性、开放性的载人潜水器 VR 系统。下一步将进一步结合深海潜水器的发展趋势，将 VR 技术与水动力仿真相结合，通过虚拟试验技术，动态展示深海潜水器水动力仿真环节，增加人机交互实现仿真模拟的迭代与优化，减少设计周期、降低试验成本，同时减少后续物理试验风险。参考文献：1 邢丹,曲文新,胡中惠,等.载人潜水器与 VR 结合的应用模式研究 J.舰船科学技术,2021,43(11):146-150.2 刘峰.深海载人潜水器的现状与展望 J.工程研究-跨学科视野中的工程,2016,8(2):172-178.3 刘涛,王璇,王帅,等.深海载人潜水器发展现状及技术进展 J.中国造船,2012,53(3):233-243.4 黄碧宇.水下机器人作业仿真训练系统关键技术的研究 D.哈尔滨:哈尔滨工程大学,2015.5 徐芑南,张海燕.蛟龙号载人潜水器的研制及应用 J.科学,2014,66(2):11-13.6 黄金锋,陶伟,赵罡,等.虚拟现实技术在人机工程中的应用要求标准研究 J.中国舰船研究,2008,3(6):49-53.7 孟宪伟,王晓辉,刘开周,等.载人潜器半物理虚拟仿真系统及其性能分析 J.系统仿真学报,2006(1):71-75.8 王宏健,边信黔,施小成,等.自主式水下潜器虚拟仿真系统研究 J.系统仿真学报,2004(5):927-930.图 4 载人潜水器操作教学及培训模块应用层基于VR的载人潜水器航行运动仿真系统基于VR的载人潜水器操作教学及培训系统潜器海洋子系统运动仿真子系统多人协同子系统内容制作子系统基础层交互操作子系统虚拟道具子系统沉浸显示子系统VR数据服务子系统硬件实时定位子系统