基于单视角图像的人体三维重建研究.pdf

2023 年第 9 期75计算机应用信息技术与信息化基于单视角图像的人体三维重建研究夏雪吟1,2 陈建刚1XIA Xueyin CHEN Jiangang 摘要 为了使得人体三维建模技术不受高昂仪器费用所限制，可以被更多的普通用户所接受，提出了一种基于单视角图像的人体三维模型重建的方法。该方法通过结合参数化结构的表达，并在此基础上引入了人体法向图和基于骨架的结构先验作为先验信息，在基于隐式函数的方法上进行改进得到一种基于全先验信息的重建方法。在相同数据集上将本方法与 PIFu、PIFuHD、PaMIR、ICON 选取了三个评价标准进行多次对比试验，其中真实模型与预测模型间的距离平均下降约 40%，法向一致性平均提升约 4%。实验结果表明，利用改进算法进行人体三维模型重建，能够提高重建模型的准确性和细节丰富度。关键词 人体三维重建；隐式函数；SMPL 模型；深度学习；3D 关键点检测 doi：10.3969/j.issn.1672-9528.2023.09.0171.华东师范大学通信与电子工程学院 上海 2000622.中国铁路上海局集团有限公司 上海 2000700 引言人体三维建模目前是三维重建领域方面的研究热点，在行为识别、医学治疗和虚拟现实等领域中都具有广泛的应用前景。关于人体模型的三维重建工作最早可以溯源到1950年，Hudson 团队率先利用计算机生成了第一个人体模型，该研究也在之后的人机工程学方面取得了广泛的应用。随后发展到20世纪80年代，加拿大和美国也着手于对虚拟人方面的研究，先是模拟真实人体的面部和身体，再是研究模拟人物的骨架，极大地推动了三维人体重建领域的发展1。再后来随着计算机技术和相关硬件设备的发展，各类人体三维重建的方法被越来越多的学者提出，对重建出的模型要求也从最开始的完4 薛 连杰,齐臣坤,张彪,等.基于 3 维点云欧氏聚类和RANSAC 边界拟合的目标物体尺寸和方位识别 J.机械设计与研究,2018,34(5):44-48+53.5 袁 铭阳,黄宏博,周长胜.全监督学习的图像语义分割方法研究进展 J.计算机工程与应用,2021,57(4):43-54.6 易 继禹,陈慈发,龚国强.基于改进 Faster RCNN 的输电线路航拍绝缘子检测 J.计算机工程,2021,47(6):292-298+304.7 胡尚薇.一种基于运动目标检测和深度学习技术的烟雾检测方法:CN114332739AP.2022.8 R EN S,HE K,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networksJ.IEEE transactions on pattern analysis and machine intelli-gence,2017,39(6):1137-1149.9 L IU W,ANGUELOV D,ERHAN D,et al.Ssd:Single shot multibox detectorC/European Conference on Computer Vi-sion.Cham:Springer,2016:21-37.10 M ILLETARI F,NAVAB N,AHMADI S A.V-net:Fully convolutional neural networks for volumetric medical image segmentationJ.Clinical orthopaedics and related research,2016:565-571.11 薛 培林,吴愿,殷国栋,等.基于信息融合的城市自主车辆实时目标识别 J.机械工程学报,2020,56(12):165-173.【作者简介】王秋媚（1993），通信作者，女，广东湛江人，本科，助理工程师，研究方向：计算机视觉的图像目标检测算法。张惠荣（1980），男，广东惠州人，大学硕士研究生，高级工程师，研究方向：数字输电及智能电网。张建锋（1990），男，广东惠州人，本科，工程师，研究方向：输电线路运维与管理。蓝钢（1993），男，广东汕尾人，大学本科，助理工程师，研究方向：无人机智能化与自动化。张磊（1990），男，安徽淮南人，研究生，中级工程师 研究方向：计算机视觉的图像目标检测算法。（收稿日期：2023-08-01 修回日期：2023-08-26）2023 年第 9 期76计算机应用信息技术与信息化整性发展到对其细节和纹理等细节更加注重。随着当前智能手机的发展和普及，二维图像成了极易获取的数据形式，相对于需要高昂费用的专业设备，通过二维图像进行人体三维重建的方法就显得格外简便、可行性高。另外，与基于多视角图像的人体三维重建方法2-4相比，单视角方法图像的背面、深度等信息缺失，存在着深度歧义性等问题，因而仅通过单视角图片进行人体三维重建更具有挑战性。本文针对单视角重建方法提出了一种优化后的基于隐式函数的人体三维重建方法。1 相关工作1.1 SMPL（a skinned multiperson linear model）模型蒙皮多人线性模型（SMPL）是由 M.Loper 等5提出的一种通过学习大量不同的人体数据库进行人体建模的方法而得到的一种参数化人体三维模型。该模型是一种参数化的人体模型，通过改变参数的输入来实现对不同姿态人体的建模。其具有两个输入参数：体型参数 和姿态参数。其中体型参数 是一个 10 维向量，描述的是人物模型的体型特征，姿态参数 为一个 75 维的向量，用来描述人体关节的变化。通过指定的体型参数 和姿态参数 并作用于平均模板进行人体体型和动作的变形，重建出指定的人体模型，可通过公式表达为：（1）其中的公式为：（2）式中：W 为一个混合蒙皮线性方程，为将体型参数 对应到骨骼关节点的函数，为姿态参数 映射到模型对应点的函数，为 映射到模型对应点的函数，w 为各个关节的混合权重。1.2 HMR（human mesh recovery）算法HMR 算法6是一种端到端的方法从二维图像恢复三维人体模型的框架，该算法是直接由二维图像像素获取 3D 模型参数，这样避免了过度依赖于 2D 关键点信息从而丢失图像信息，同时也提高了计算效率，其网络结构如图 1 所示。图 1 HMR 算法网络结构图HMR 首先将二维图片输入至卷积编码器 Encoder 中，编码器利用损失函数通过训练得到图像的卷积特征，再将该特征送到迭代的 3D 回归模块，该模块的作用在于得到人体的三维参数（即 SMPL 中的 和 参数）和相机参数，再利用这些参数将人体投影到已标注的 2D 关键点上。另外，这些参数还会被送到对抗网络的判别器中，判别器利用损失函数Ladv来进行训练并学习人体关节的旋转角度信息，并判断 3D参数是否取自真实的人体网格数据，因此，判别器在其中起到了一个弱监督的作用，通过该算法更利于生成真实的人体结构。其整体损失函数为：（3）式中：为编码器和判别器损失函数之间的相对权重，Lreproj为重投影损失，I 为指数函数。当等于 1 时，L3D表示为直接使用 3D 标注数据来进行监督的损失，Ladv为判别式损失。1.3 PIFu（pixel-aligned implicit function）PIFu7表示的像素对齐网络特性可以将二维图像中的像素与其对应的三维人体信息相关联，从而重建出完整的人体表面几何和外观纹理的特征。PIFu 的网络架构可以简要表达为：输入单张人体二维图像，通过全卷积图像编码器 g 和多层感知机 MLPs，输出人体的三维模型和其对应的纹理信息。可以将 PIFu 的网络架构看作两个部分，每个部分分别由两个不同的神经网络组成。第一部分是将全卷积神经网络作为图像编码器 g，来实现对目标图像的编码工作。第二部分是由一个多层感知机 MLPs 构成，通过不断学习来逼近所需的连续的隐式方程，其函数形式为：（4）式中：s R，F(x)=g(I(x)表示 2D 图片在 x 处的局部特征，Z(x)表示 X 在该 2D 图片中对应的相机坐标系下的深度值，x=(X)表示 3D 点 X 在 2D 图片上的投影位置，g()是由一个全卷积网络组成。另外，PIFu 还具备扩展性，在不改变函数输入信息的情况下，可以通过改变其输出形式来预测 3D 点的颜色，改变输出公式为：（5）2 算法整体设计2.1 算法流程首先，对输入的目标图像进行图像预处理，消除无关干扰因素利于后续的处理工作。再利用 HMR 算法将处理后图像送至卷积编码器得到图像卷积特征，通过 HRM 算法中迭代的 3D 回归模块从而得到构建 SMPL 模型所需的参数，并利用 SMPL 模型获取人体三维骨架信息。同时，利用生成对抗网络估计出目标图像的正面和背面的法向图。为了避免因人体固有的结构信息缺失导致重建结构出错，本文还提出了引入基于骨架的结构先验，将上述通过参数化模型得到的关 2023 年第 9 期77计算机应用信息技术与信息化节点作为输入，输出得到基于骨架的特征表达，引导网络感知骨架及骨骼之间的连接性。最后，将上述得到的先验信息作为基于隐式函数方法的输入，得到重建的人体三维模型。算法流程如图 2 所示。图 2 整体算法流程图2.2 基于参数化模型的人体 3D 骨架的建立通过 HMR 算法中的卷积编码器 Encoder 模块后，得到了图像的卷积特征，再将其输入至迭代的 3D 回归模块，该模块的主要目的就是输出 SMPL 模型所需的 85 维参数=,R,t,s，其中 和 分别表示将 SMPL 中的姿态参数和体型参数，R、t、s分别表示相机的旋转、平移、缩放参数。这些参数映射到 2D 关节点时用损失函数来进行约束：（6）式中：Vi 0,1 为 2D 关键点的置信度用来代表关键点是否可见，0 为可见，1 为不可见。xi为第 i 个 2D 关键点的真实准确标签，为预测的二维关键点位置。由于该模块所预测到的参数包含了旋转角的信息，仅通过一次回归预测推导出所需参数 十分困难，故采用迭代误差反馈机制来对 进行回归：每次迭代输入参数为图像特征和当前参数 i，输出为 i，当前参数 i加上输出参数 i得到新的输出(i+1)=i+i。初始的参数为 0，均值为。具体的损失函数为：（7）（8）当给定了体型参数和姿态参数后，经过计算得到最终模型 M，其公式为：（9）式中：，为人体平均网格模型，W 为关节点对顶点的影响权重，S 为人体形状的 PCA 值，J 为从网格顶点计算 24 个关节点位置的回归矩阵，P 为人体姿态的PCA 值。计算得到关节点的坐标，其公式为：()()(),;SJJ T SJ TBS=+（10）式中：()1;Sn nnBSS=（11）2.3 基于生成网络的法相图估计由于单张图像背面信息的缺失，会导致还原的三维人体不完整或细节缺失的情况。为此，提出了通过引入额外的法向先验信息的方法，增加图像信息从而提升模型的细节表达能力。本文采用了生成网络来对输入图像进行正面和背面法向图的估计。首先将图像 I 作为法向图估计 网络 GN的输入，其中 GN是一种基于生成对抗网络的深度学习网络，如 pix2pixHD8网络，最终输出法向估计图，分别包括正面法向图和背面法向图，其公式为：()cNGIN （12）再将估计出的法向图 Nc以及输入图像 I 通过特征提取网络来提取特征图，最后通过双线性插值采样得到像素对齐的特征 FN，即所述的基于法向图的特征先验，其公式为：()()()*,NFPS Fp=（13）式中：(p)表示空间三维点 p 在特征图上的投影，F*表示对输入图像 I、法向图 Nc提取的特 征图，S()表示基于双线性插值的采样函数，用于采样像素对齐的特征值。2.4 基于骨架的特征表达在分析现有的基于参数化模型来提升隐式表达能力的方法如 PaMIR9、ICON10时，发现这两类方法的关注点均更多在于针对表面几何的先验，容易出现重建结果不符合人体真实结构的现象。为此，提出了基于骨架的结构先验，引导网络感知骨架以及骨骼之间的连接性。骨架结构示意图如图 3。rk,1pkrk,m图 3 骨架结构示意图输入根据上述得到的参数化模型 M 计算关节点 J 如式14，通过计算查询点 q 与关节点的相对位置，编码骨架及其连接性相关的特征，其公式为：()Jj v=（14）2023 年第 9 期78计算机应用信息技术与信息化,1,kkk mrrr=（15）（16）对于空间特征点 pk，首先计算与每个关节 点的相对位置r(k,j)，将这些特征拼接即可得到查询点相对于关节点的特征表达。基于就近原则的假设，即空间点主要受邻近关系点的影响，比如肘关节点附近的点，主要考虑其附近关节点比如手腕、肩部等的影响，而与脚部或者膝盖上的关节点的相关性不大，因此引入阈值函数 G 减少不相关关节点的影响，根据距离值过滤到距离值大（即相关性弱）的关节点。根据述描述，基于骨架的结构先验可用公式表达为：(),1,.,JkkFprkNK=+（17）式中：N+K 为基于骨架的 采样策略得到的训练采样点，rk为基于骨架的特征表达。2.5 基于全先验信息的人体三维重建在 PIFU7的基础上提出了一种基于全先验信息的人体三维模型重建的方法。将通过上文所得到的正反面法向图和骨架的结构先验，与原始图像一起输入模型，由于输入信息的增加，全先验信息像素对齐隐式函数为：()()()()()1,0vLLJkfxfx g I FBFpZ=（18）式中：x=(X)是其 2D 投影，FL、BL分别为正面法向图和反面法向图，I 为输入的二维图像，FJ(pk)为基于骨架的结构先验，Z 为摄像机坐标空间的深度值，g 是卷积神经网络用来进行特征提取，表示采样函数，其作用为根据投影点 x，在获得的特征图上得到 x 对应的特征。通过上述隐式函数得到的人体表面特征点坐标信息进行密集采样，使用移动立方体算法提取隐式空间曲面的零值面，最终得到重建的人体三维模型。3 实验结果与分析本文实验在是 Linux 系统上进行的，另外搭配了一块2080Ti 显卡，使用了 PyTorch 作为深度学习框架，Python作为编程语言。实验采用的数据集为 Twindom 数据集和Thuman3.0 数据集，其中 Thuman3.0 数据集包含 5207 个三维人体模型，其中包括 2587 个训练集样本和 2620 个测试集样本。每个三维人体模型都包含了 24 个关键点，涵盖了人体的主要部位，如头、手、肘、膝盖等。另外，由于 Twindom 数据集没有提供对应的 SMPL 模型，为了获得准确的 SMPL 模型，本文采用了 MuVS 算法7应用于姿势的多视图图像计算估计出其对应的 SMPL 模型。为了更好地训练和测试模型，本文从 Twindom 数据集和Thuman3.0 数据集上选取了涵盖不同衣服、不同姿态人体的500个模型作为训练对象。再对模型每间隔10进行一次渲染，可以得到 60 张分辨率为 512512 的彩色图和法向图，共计30 000 张训练图像，如图 4 展示了部分角度的渲染图像。另外，还从 Twindom 数据集和 Thuman3.0 数据集上选取了 100个模型作为测试对象，对其每个模型再进行每36渲染一次，最终得到 10 张分辨率为 512512 的彩色图和法向图，共计1000 张测试图像。二维RGB图法向图初始渲染图90渲染图180渲染图270渲染图360渲染图图 4 部分角度的渲染图像展示图3.1 定性分析为了验证本文方法的可行性，将本文重建结果与其他常见的基于隐式函数人体重建方法如 PIFu、PIFuHD、PaMIR和 ICON 作比较。重建结果对比如图 5 所示。输入图像PIFuOursPIFuHDPaMIR图 5 人体三维重建结果对比图由图 5 可知，相较于 PIFu 和 PaMIR，本文的模型细节表达得更好，尤其是面部细节更加清晰，另外衣服褶皱方面也更为明显；相较于 PIFuHD，本文估计的模型更为完整，避免了类似 PIFuHD 脚部缺失、胳膊不符合人体真实性的问题。3.2 定量分析在相同的数据集 Twindom 数据集和 Thuman3.0 数据集和相同的评价指标下进行多次定量实验，结果如表 1 所示，所采用的评价是目前公用的三个评价标准来对模型进行定量的评价。2023 年第 9 期79计算机应用信息技术与信息化表 1 实验环境MethodsTwindom+Thuman3.0ChamferP2SNormalsPIFu8.533 68.451 50.797 5PIFuHD5.591 25.555 30.853 6PaMIR5.598 25.323 90.857 3ICON4.509 64.642 50.819 4Ours3.680 73.590 20.869 8（1）倒角距离（chamfer distance）真实模型和预测模型上均匀采样多个点，分别计算双向点到面的距离值，最后加权平均即为倒角距离。该评价标准能够捕捉到两个模型较大的几何差异，但对于很细微的几何细节通常不能做出很好的评判。（2）点到面的距离（P2S distance）通常指真实模型上的采样点到预测模型上的距离，可看作是一个单向版本的倒角距离。（3）法向的一致性（normal consistency）计算采样点法向值的相似度，两个模型越接近，其法向一致性值越大。通过上述定量分析可知，本文的模型在 Chamfer、P2S和 Normals 评价指标下均有所提升，表明本文提出的方法在重建三维人体模型上能够在完整性和细节上有一定的改善。4 结束语本文提出的基于单视角的人体三维重建方法，在现有的方法上进行分析总结，并针对不同方法易出现的问题提出了改进。PIFu 提出的基于隐式函数的三维重建，因其缺少法向信息，导致易出现重建模型不完整等情况，本文提出了引入法向图的方法来增加法向先验信息，以此丰富了正面和背面的细节性。PIFuHD 在 PIFu 的基础上进行了改进，但因其过度依赖于全局信息，会使得网络对于整体的人体形态变得异常敏感，为此，本文提出了引入人体参数化模型来得到人体三维骨架，增强了对人体轮廓的预知，避免了出现重建不完整的情况。ICON 在已有的方法上再次进行了改进，但是由于其对人体真实骨架信息的缺失，导致容易出现重建结果不符合人体真实结构的现象，对此，本文提出了基于骨架的结构先验信息，有效提升了重建模型与真实模型之间的相近度。实验结果表明，本文的改进算法进行的人体三维重建能够提升重建的准确性，效果符合预期。参考文献：1 Hilton A.Whole-body modelling of people from multiview images to populate virtual worldsJ.Visual computer,2000,16(7):411-436.2 HAMING K,PETERS G.The structure-from-motion re-construction pipeline a survey with focus on short image sequencesJ.Kybernetika praha,2010,5(5):926-937.3 LHUILLIER M,QUAN L,LHUILLIER M,et al.A qua-si-dense approach to surface reconstruction from uncalibrated imagesJ.IEEE transactions on pattern analysis and machine intelligence,2005,27(3):418-433.4 HABBECKE M,KOBBELT L.A surface-growing approach to multi-view stereo reconstructionC/2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis,MN,USA:IEEE,2007.5 LOPER M,MATTHEW N,ROMERO J,et al.Keep it SMPL:a skinned multi-person liner modelJ.ACM transactions on graphics,2015,34(6):248.6 KANAZAWA A,BLACK M J,JACOBS D W,et a1.End-to-end recovery of human shape and poseC/Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2018:7122-71317 SAITO S,HUANG Z,NATSUME R,et al.Pixel-Aligned implicit function for high-resolution clothed human digitizationJ.2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Seattle,WA,USA:IEEE,2020:81-90.8 WANG T C,LIU M Y,ZHU J Y,et al.High-resolution image synthesis and semantic manipulation with conditional GANsJ.arXiv.org,2017.9 ZHENG Z,YU T,LIU Y,et al.PaMIR:parametric model-conditioned implicit representation for image-based human reconstructionJ.arXiv.org,2020.10 XIU Y,YANG J,TZIONAS D,et al.ICON:implicit clothed humans obtained from normalsC/IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE,2021:9809-9818.【作者简介】夏雪吟（1998），女，安徽合肥人，硕士研究生，研究方向：计算机视觉。陈建刚（1980），通信作者(email:)，男，河北张家口人，博士，副研究员，研究方向：医学超声设备硬件电路设计、嵌入式智能化算法开发、无线传输（蓝牙、无线）系统开发、医学影像处理与 AI 分析。（收稿日期：2023-03-14 修回日期：2023-04-09）