基于图像建模的超写实虚拟人面部快速生成应用研究.pdf

关键词超写实虚拟人照片建模拓扑自定义面部基于图像建模的超写实虚拟人面部快速生成应用研究摘要随着虚拟现实技术的不断发展，数字虚拟人形象成为人们研究的热点，对于虚拟人形象的细节要求也越发地精益求精。其中最大的技术难点聚焦在超写实虚拟人的面部模型，无论是五官、头部结构还是贴图都有极大的研究空间。尤其是传统的超写实虚拟人面部的制作过程漫长且复杂，制约着快速部署应用，本文针对超写实虚拟人面部的快速生成制作方法进行了探索研究。作者 中央广播电视总台任宝身张风本文实现了一种超写实人脸的制作方法，此方法的建立和使用不再依赖于专业的建模人员，而是通过图像三维建模与拓扑技术创建出个性化的人脸模型，并借助适配UE 虚幻引擎的 Metahuman 云端制作工具，大幅缩短了制作周期。同时，克服了使用时间、空间和设备的限制，增加了应用的灵活性，降低了使用者的门槛。二 实现方法和关键流程 本研究的实现方法主要包含四方面的内容，首先将被拍摄者头部 360 度围绕拍摄的照片序列导入图像三维重建软件重建被拍摄者的面部模型，然后通过三维拓扑工具 R3DS Wrap 拓扑人脸面部到Metahuman 头部模型中，之后采用三维软件 Maya 编辑 Metahuman 模型进行面部混合变形，最后在 UE 虚幻引擎中完成更换自定义人脸模型并进行面部表情的实时渲染和驱动。1.图像三维重建面部模型基于 2D 图像的三维建模方法，通常是获取简单的影像通过复杂的算法自动生成高质量的三维模型。由于所需设备与专业度的限制，本文采用基于 2D 图像的建模方法，选用当下比较主流的三维图像建模软件 Agisoft Metashape 来辅助后续复杂的计算。软件原理是通过普通的数码相机或者是智能手机多角度、多层次地进行拍摄，得到一组物体重叠率高于 70%的照片。然后根据相机模型、成像、射影几何、特征点检测匹配、三维密集点云重建等原理和技术，从这组照片中提取出被摄物体的密集点云，根据点云数据计算重构三维模型1。本研究以团队工作人员作为参考创建虚拟形象。第一，为了创建超写实的人脸模型，需要获取真人的面部照片。考虑到真人面部结构的复杂性以及对于面部三维数字模型重建的高精度要求，需要围绕随着元宇宙元年的到来，虚拟人已经悄无声息地融入了我们的生活。一系列的虚拟网红、虚拟代言人以及虚拟主播已经借助社交媒体活跃在了大众的视野中。他们可以呈现出真人一样的舞蹈、唱歌与交流行为，随之而来的必将是越来越接近真人的个性化虚拟形象。个性化的虚拟形象在影视、游戏娱乐、教育等领域将会发挥更重要的作用，超写实的虚拟人面部特征也会越来越受到人们的关注。一 研究意义 为了实现虚拟人超写实的效果，就要求从业者具备高超的美术写实能力与专业技术，从最初的原画设计、模型制作到骨骼、表情的绑定，都需要专业人员大量的时间投入，这是一个复杂的过程。尤其是人脸部分的建模，要达到与真人极高的相似度，将会付出更多的时间与精力。为了在短时间内交付超写实的效果，Advanced Television Engineering083耗计算机资源的做法。为了最终能够支持虚拟人的动作捕捉，需要利用 Metahuman 中的虚拟人模 型 模 板。Metahuman 是 Epic推出的适配 UE 虚幻引擎的一个超写实虚拟人云端制作工具，它所提供的模型模板网格十分精简，虽然包含的数据量非常小，但却能够完整表达模型的头部结构。其数据来源于对现实人物的扫描，皮肤毛发的写实程度也较高。同时包含完整的面部表情绑定与骨骼绑定，导入 UE 虚幻引擎后可通过插件进行面部表情与动作的捕捉驱动。为此采用 R3DS Wrap 软件对扫描模型进行拓扑处理，Wrap 是一款前沿的三维扫描拓扑软件，在进行人类数据扫描时，允许利用现有的 basemesh 适配3D 扫描，即利用 Metahuman 导出的面部模型去适配Agisoft Metashape 中生成的面部模型，最终 Metahuman的面部五官会完全形变为扫描模型的面部轮廓。第一，首先需要将Quixel Bridge中导出Metahuman虚拟人进行自定义编辑，只导出不带有骨骼绑定的头部模型，然后与 Agisoft Metashape 中生成的面部模型一起导入 Wrap 软件中，保证这二者面部坐标位置基本重合。第二，通过 SelectPolygons 命令，选择 Metahuman头部模型面部区域之外的部分，理论上是为了避免拓扑过程中适配到不需要的内容。然后执行SelectPoints命令，将 Agisoft Metashape 中生成的面部模型中所有点纳入选择，软件在计算过程中就会自动拾取到点的坐标信息。第 三，通 过 Wrapping 命 令，将 这 二 者 之 间建立起拓扑关系，将扫描模型作为变形目标。在Metahuman 头部模型面部区域与扫描模型的对应位置标记相同数量的顶点编号，通过计算，Metahuman 头部模型面部区域每个带有编号的顶点会转换至扫描模型上相应的位置，Metahuman 头部模型面部区域会完全适配扫描模型，拓扑过程完成。第四，通过 SaveGeom 命令，将会导出适配后的Metahuman 头部模型。真人面部360度以清晰焦点转动拍摄50张左右照片，利用手机拍摄即可。第二，对齐照片。将照片导入 Agisoft Metashape，通过对齐照片命令，软件就会自动对齐相机，完成照片匹配。第三，生成密集点云。将生成的多余的密集点云进行删除，保证面部密集点云的完整性，生成的密集点云包含了坐标、颜色和法向量等信息。第四，生成网格。点云数据通过软件处理自动生成由大量三角面组成的三维数字模型，通常复杂模型的生成会存在一些破面问题，模型表面也较为粗糙，可以将生成的模型导出.obj 或者.fbx 格式，借助Zbrush、Maya 等三维制作软件进行平滑处理，注意保证其坐标位置在这个过程中未发生任何变化。第五，生成纹理。将优化后的模型再次导入Agisoft Metashape 中，执行生成纹理命令，软件经过计算会生成一张面部贴图，完全贴合于模型表面，对于贴图瑕疵，可通过 Photoshop 进行调整。通过以上流程便可得到与真人相似度极高的面部模型，为接下来的虚拟人制作提供基础，也可称之为“扫描建模”。2.拓扑面部到 Metahuman 模型通过 Agisoft Metashape 制作的面部模型需要借助Metahuman 进行优化，因为其不包含表情绑定且模型网格体量较大，直接导入 UE 虚幻引擎是一种非常消1图像三维重建面部模型流程图2生成密集点云3拓扑流程图新媒体新业务NEW MEDIA&BUSINESS0843.编辑 Metahuman 模型进行混合变形Maya 中雕刻模块的形变编辑器是用于创建、编辑和管理形变以进行形变创作的主要工具。应用这个工具可以将 Metahuman 的面部表情绑定权重全部转移到适配后的 Metahuman 头部模型。第一，为了移植Metahuman的面部表情绑定，需要将Metahuman 从Quixel Bridge 中重新导入Maya，移除身体部分并将为它创建一个混合形状。由于面部表情的控制只需要左边 8 个部分和右边 8 个部分的控制器，所以扩展身体部分的控制器 rig 删除掉 body 部分。对于 Metahuman 的头部模型，从Quixel Bridge 中重新导出时默认地包含 head_lod0_grp 到 head_lod7_grp8 个模型，所以只需保留其中一个。第二，将准备好的拓扑后的 Metahuman 头部模型导入 Maya，使其二者坐标位置重合。通过形变编辑器，选择带有绑定的 Metahuman 头部模型，为其创建混合变形，添加拓扑后的 Metahuman 头部模型作为变形目标，此时拖动滑块，带有绑定的 Metahuman头部模型面部形态会完全变形为拓扑后的 Metahuman头部模型。此时，可以导出.fbx 格式在 UE 虚幻引擎中进行驱动，可以将其命名为 newface。4.UE 虚幻引擎中更换自定义面部模型为了在 UE 虚幻引擎中实现最终的动态呈现，要更换虚拟人的最终头部，需要从 Quixel Bridge 中再次导出 Metahuman 进入 UE 虚幻引擎进行编辑。newface 文件也需要配置到引擎中来，可以按顺序进行面部骨骼和身体骨骼的重定向。接下来要通过UE 虚幻引擎的蓝图系统进行编辑，调用蓝图系统，进入 Metahuman 对应的蓝图，在头部层级下将原有的 Metahuman 头部文件替换为 newface 文件，进行编译保存。再将 Metahuman 的发型、眉毛与绒毛绑定到 newface 上，最终便能够通过 UE 虚拟引擎的插件与手机 Live Link Face 软件实现虚拟人的实时面部驱动。三 小结 本研究的虚拟人面部模型的创建采用图片三维建模技术进行制作，是在大量的前人实践基础之上，借鉴了很多成功经验得以实现的，打破了以往定制化样貌虚拟人制作中专业设备、专业人员和专业场地的限制，能够在短时间内对复杂人物面部形态进行建模。同时，利用 Metahuman 自带的精简网格与表情绑定，并通过三维建模软件将其完全应用于自定义的人脸模型中，极大地缩短了虚拟人的制作周期，降低了经济成本。研究中使用的 UE 虚幻引擎渲染自定义样貌超写实虚拟人效果出众主要体现在两个方面：在相似度方面，与真实人类极为接近。面部贴图包含了真人面部照片所有的细节，发型、妆容、牙齿和服装均来自Metahuman 中的数据，借助在 UE 虚幻引擎中对环境进行设置可以呈现出与真人极为匹配的效果；在面部表情捕捉方面，利用iPhone的ARKit面部识别能力，结 合 UE 虚 幻 引 擎 中 Apple ARKit 和 Apple ARKit Face support 这两款插件，可以快捷地连接手机与 UE虚幻引擎来实现面部表情的同步捕捉驱动。本研究的实现方法极大地降低了超写实虚拟人制作的技术门槛和制作成本，使虚拟人在传媒领域的日常使用和出场机会增大。目前的实现方法还存在一些不足之处，比如自定义人脸的贴图效果受制于照片的拍摄质量，而且在 UE 虚拟引擎中的呈现效果对于灯光设置的要求也比较苛刻，这些问题将在后续的研究中进一步得到改善。5自定义面部效果4混合形变流程参考文献：1 卢智婷，林慧敏，邹镰钊.基于 Agisoft Photoscan 的城市景观雕塑快速建模研究 J.建筑建材装饰，2019，(16):169,153.Advanced Television Engineering085