融合生物力学约束与多模态数据的手部重建.pdf

2023 年 8 月 图 学 学 报 August2023第 44 卷 第4期 JOURNAL OF GRAPHICS Vol.44No.4 收稿日期：2022-11-26；定稿日期：2023-04-26 Received：26 November，2022；Finalized：26 April，2023 基金项目：陕西省林业科学院2021年科技创新计划专项(SXLK2021-0214)；陕西省重点研发项目(2022QFY11-03)；农村农业部农业物联网重点实验室项目(2018AIOT-09)Foundation items：Shaanxi Academy of Forestry Science 2021 Science and Technology Innovation Program Special(SXLK2021-0214);Shaanxi Province Key Research and Development Program(2022QFY11-03);Key Laboratory Project of Agricultural Internet of Things,Ministry of Rural Agriculture(2018AIOT-09)第一作者：薛皓玮(2000)，男，本科生。主要研究方向为计算机视觉和人机交互。E-mail： First author：XUE Hao-wei(2000),undergraduate.His main research interests cover computer vision and human-computer interaction.E-mail： 通信作者：王美丽(1982)，女，教授，博士。主要研究方向为计算机图形学、虚拟现实等。E-mail：meili_ Corresponding author：WANG Mei-li(1982),professor,Ph.D.Her main research interests cover computer graphics,virtual reality,etc.E-mail：meili_ 融合生物力学约束与多模态数据的手部重建 薛皓玮1，王美丽1,2,3(1.西北农林科技大学信息工程学院，陕西 咸阳 712100；2.农业农村部农业物联网重点实验室，陕西 咸阳 712100；3.陕西省农业信息感知与智能服务重点实验室，陕西 咸阳 712100)摘要：针对目前单目手部重建设备成本高、响应速度迟缓等问题，提出一种利用单目摄像机获取手部形状和姿态进行手部三维重建的方法。该方法采用基于深度学习的架构，使用带有 2D 和 3D 注释的图像数据和手部动作捕捉数据进行训练。首先，通过一个关节检测模块(3DHandNet)和一个逆运动学模块(IRNet)准确地回归 3D 关节位置并将其映射到关节旋转中。其次，通过引入生物力学约束以达到高质量的网格图像对齐以提供实时预测。最后，将得到的预测向量与关节旋转表示输入到手部网格模板来拟合手部形状。仅与回归 3D 关节位置的方法相比其更适用于计算机视觉和图形学领域的应用。在基准数据集上的实验结果表明，该方法达到了实时的运行性能(60 fps)和较高的重建精度，在姿态估计精度和手部图像对齐方面均优于目前的方法。关键词：手部三维重建；生物力学约束；多模态数据；手部关节检测模块；逆运动学模块 中 图 分 类 号：TP 391 DOI：10.11996/JG.j.2095-302X.2023040794 文 献 标 识 码：A 文 章 编 号：2095-302X(2023)04-0794-07 Hand reconstruction incorporating biomechanical constraints and multi-modal data XUE Hao-wei1,WANG Mei-li1,2,3(1.College of Information Engineering,Northwest A&F University,Xianyang Shaanxi 712100,China;2.Key Laboratory of Agricultural Internet of Things,Ministry of Agriculture and Rural Affairs,Xianyang Shaanxi 712100,China;3.Shaanxi Key Laboratory of Agricultural Information Perception and Intelligence Service,Xianyang Shaanxi 712100,China)Abstract:To address the high cost and slow response of current monocular hand reconstruction,a method for hand 3D reconstruction using a monocular camera to acquire hand shape and posture was proposed.The method adopted a deep learning-based architecture that used image data with 2D and 3D annotations,as well as hand motion capture data for training.Firstly,3D joint positions were accurately regressed and mapped to joint rotations through a joint detection module(3DHandNet)and an inverse kinematic module(IRNet).Then,biomechanical constraints were introduced to achieve high-quality mesh image alignment for real-time predictions.Finally,the resulting prediction vector with joint rotation representation was input to the hand mesh template to fit the hand shape.This approach was more suitable for 第 4 期 薛皓玮，等：融合生物力学约束与多模态数据的手部重建 795 1 computer vision and graphics applications compared to only regressing 3D joint positions.Experimental results on a benchmark dataset demonstrated that the proposed method achieves real-time runtime performance(60 fps)and high reconstruction accuracy,outperforming current methods in terms of hand posture estimation accuracy and hand image alignment.Keywords:3D reconstruction of the hand;biomechanical constraints;multi-modal data;hand joint detection module;inverse kinematics module 手作为人体与现实世界交互的重要工具，具有高度的灵活性和便捷性。通过捕捉和识别手部动作可以建立实景信息与虚拟信息的融合桥梁，在人机交互、增强现实(augmented reality，AR)、虚拟现实(virtual reality，VR)、混合现实(mixed reality，MR)等领域具有巨大地应用潜力。为了实现手部动作捕捉系统，需要计算机视觉技术的支持，并满足实时运行、与真实手相匹配且合理对齐等主要需求。然而，单目摄像机的深度模糊性、自遮挡、手部复杂的快速运动以及皮肤外观均匀等因素，使得从单一视角进行三维手部网格重建成为计算机视觉领域的一项艰巨而长期地挑战。童立靖和李嘉伟1提出一种改进的 PointNet+网络的三维手姿估计方法，可以有效减少特征提取的计算量。然而，该方法在处理噪声和不完整数据时表现不佳。TANG 等2提出了一种解耦手部网格重建任务的方法，通过关节预测、网格预测和细化结果 3 个阶段，实现了较高的重建精度。然而，该方法需要进行 3 个阶段的训练，训练时间较长。GE 等3提出了一种基于图卷积神经网络(graph convolutional neural networks，GCNN)的方法来重建一个完整的三维手部网格，包含更丰富的三维手部形状和姿态信息。但该方法需要大量的计算资源和训练时间。ZHANG 等4提出了一种端到端框架来解决从单个 RGB 图像重建一个人手的完整三维网格的问题。然而，该方法对于输入图像中的遮挡和光照变化敏感。IQBAL等5提出了一种通过 2.5D姿势表示从单目图像进行三维手部重建的新方法。但该方法无法处理复杂的手部动作和姿态。CAI等6提出了一种弱监督手部重建方法，利用深度正则化器将完全标注的合成数据集自适应到弱标记的真实数据集，从预测的三维手部姿态生成深度图，作为三维手部姿态回归的弱监督。该方法需要完全标注的合成数据集，且对于真实数据的准确性和多样性要求较高。现有的方法存在设备限制、高昂的训练成本，未充分利用手部二维特征以及难以实现实时响应等问题。为此，本文提出一种利用单目摄像机进行高效、实时手部三维重建方法，如图 1 所示。图 1 手部三维重建结果展示(a)输入图像 1；(b)输出结果 1；(c)Mesh 覆盖 1；(d)输入图像 2；(e)输出结果 2；(f)Mesh 覆盖 2)Fig.1 Display of 3D hand reconstruction results (a)Input image 1;(b)Output result 1;(c)Mesh overlay 1;(d)Input image 2;(e)Output result 2;(f)Mesh overlay 2)1 方法 1.1 3D 手部关节检测网络(3DHandNet)1.1.1 网络结构 3DHandNet7-8的结构由特征提取器、2D 检测器和3D检测器3个部分组成(图2)。并采用ResNet-509的主干架构作为特征提取器，使用 Xavier 初始化方法进行权重初始化。输入图像分辨率为128128，输出则为 3232256 的特征图 F。2D 检测器通过2 层 CNN 接受特征图 F 并输出热力图 Hj对应的J=21 个关节信息。热力图 Hj编码了该像素被关节j 覆盖的置信度。热力图由真实的 2D 注释监督，用于 2D 姿态估计。3D 检测器预测的坐标是相对于根部关节并根据参考骨的长度进行归一化，缓解了单目环境中基本深度尺度的模糊性。其首先使用一个 2 层 CNN 来估计来自热力图 H 和特征图 F 的delta 映射 D。之后将热力图 H、特征图 F 和 delta图 D 连接并输入另一个 2 层 CNN 以获得最终的位置图 L。位置图 L 和 delta 图 D 是由 3D 注释监督的。在推理过程中，关节 j 的 3D 位置可以通过在 796 计算机图形学与虚拟现实 2023 年 位置图 Lj中通过简单的查找热力图 Hj中的最大值对应的 UV 坐标来检索。3D 探测器接受特征图 F和热力图 H，以位置图 L 的形式预测 2D 和 3D 手部关节的位置。对于每个关节 j，Lj具有与 Hj相同的 2D 分辨率，其中每个像素编码表示关节 j 的 3D坐标。与位置图 L 类似，3D 探测器也估计了 delta图 D，其中 Db中的每个像素用一个从父关节到子关节的 3D 向量表示编码骨 b 的方向。图 2 模型架构概述 Fig.2 Overview of our architecture 1.1.2 损失函数 损失函数为 heatheatloclocdeltadeltaregregbmcbmcLLLLL(1)其中，损失项 Lheat的作用是监督特征提取器和 2D检测器学习在 In-The-Wild 图像上检测手部关节重要特征，即 2heatGTFLHH(2)该损失项确保了回归后的热力图 H 接近于真值热力图 HGT。其中|F表示 Frobenius 范数。损失项 Lloc和 Ldelta的作用是监督 3D 检测器，即 2loc()GTGTFLLLH(3)2delta()GTGTFLDDH(4)损失项分别测量了真实值和预测位置图 L 和delta 图 D 之间的差异，确保预测的 3D 位置与真实值接近。通过将真实关节位置和骨骼方向的坐标拼接到热力图的大小来构建真实位置图 LGT和 delta映射 DGT。其中 为矩阵乘积；Lreg为网络权重的L2 正则化器，以防止过拟合；Lbmc为生物力学约束(第 1.3 节)。且每个损失项都由一个因子x加权，设置heat=1，loc=0.5，delta=0.5，reg=0.000 1，bmc=2。1.2 逆向运动学网络 IRNet 在计算机图形应用中，将关节位置转换为关节旋转角度是一个很重要的问题，被称为逆向运动学问题。本文基于文献8提出了一种端到端神经网络，可以从关节位置推断出关节的旋转角度信息。1.2.1 网络结构 IRNet 为 5 层全连接神经网络，使用 Sigmoid函数作为激活函数。将输入的 3D 关节位置编码为I=X,D,Xref,DrefR4J3，其中 X 是相对根关节且为尺度归一化的 3D 关节位置；D 每个骨骼的方向，其提供作为输入并显式地编码相邻关节的信息。Xref，Dref编码的是关于形状标识的信息，分别定义为静止姿势中的 3D 关节位置和骨骼方向。IRNet的输出是手部每个关节的全局旋转，表示为一个四元数4JRQ。训练逆运动学模块 IRNet，需要一组成对的 3D手部关节位置和相应的关节旋转角度样本。由于现有的 Hand MoCap 数据集缺乏足够的姿势变化，本文构建了一个数据集 3DHandData，该数据集包含成对的 3D 手部关节检测模块预测和真实 3D 关节位置，数据集可视化结果如图 3 所示。本文通过正态分布(0,2)对进行抽样对数据集进行扩充，以增加姿势变化和手型差异。在训练过程中，本文使用预训练好的3DHandNet为所有带有3D注释的训练样本生成 3D 手部关节预测，并为 IRNet 的输入。然后将IRNet估计的关节旋转结果通过正向运动层重建关节位置，使用相应的 3D 关节真值注释进行监督来估计关节旋转结果。1.2.2 损失函数 损失函数为 coscosnormnormregregbmcbmcxyzxyzLLLLL(5)首先，用 Lcos测量差分角的余弦值之间的距离，包 第 4 期 薛皓玮，等：融合生物力学约束与多模态数据的手部重建 797 图 3 构建的 3DHandData 数据集的可视化(a)各个角度；(b)真实 3D 关节位置)Fig.3 Visualization of the constructed 3DHandData dataset(a)All angles;(b)Real 3D joint position)含真实值 QGT 和预测值 Q，如 1cos1()GTLreal QQ (6)其中，real()取四元数的实数部分；*为四元数积；Q1为四元数 Q 的倒数。损失函数 Lxyz测量摆姿势后的 3D 坐标误差 22()GTxyzLFK Q(7)其中，FK(Q)为正向运动学函数；GT为 3D 关节注释的真实值。Lnorm将非归一化输出Q约束为单位四元数，即 2norm21LQ(8)Lreg是网络权重的 L2正则化器，以防止过拟合。Lbmc是生物力学约束(第 1.3 节)。其中每个损失项都由一个因子x加权，设置cos=1，xyz=0.5，norm=0.5，reg=0.000 1，bmc=2。1.3 生物力学约束 BMC 本文通过引入生物力学约束(Biomechanical constraints)10-13方式并集成到网络的训练中，可将手部关节预测结果限制在生物力学可行的 3D 手部构造范围内，从而提高预测的准确性和鲁棒性。本文将生物力学软约束条件构造为 bmcBLRBRALLLL(9)其包含 3 种约束：有效骨骼长度范围，有效的手掌结构范围以及拇指和手指的有效关节角度范围。构建出的坐标系如图 4 所示。红、绿、蓝色箭头分别表示局部坐标系的X，Y，Z；黑箭头代表骨骼；粉色箭头代表骨骼在局部坐标系X-Z平面的投影。1.3.1 符号表示 将关节点表示为3D3D3D121,Jjj，b 为母节点(Parent joint)p(i)到子节点(Child joint)i的向量。图 4 生物力学结构说明 Fig.4 Description of biomechajiegounical structure 将任意向量 v1和 v2间的角度定义为 T12121222(,)arccosv vv vvv(10)将间隔损失(Interval loss)定义为 (;,)max(,0)max(,0)I x a baxxb(11)单位向量定义为 2()normxxx(12)1.3.2 骨骼长度约束LBL 对于每个骨i定义一个有效骨骼长度的区间minmax,iibb，如果长度2ib位于这个区间之外，则予以修正 203Dminmax211();,20BLiiiiLJIbbb(13)LBL提高了产生有效骨骼长度的关键点预测准确率。1.3.3 手掌骨骼曲率和夹角约束LRB 为了获得有效的手掌结构，通过以下方式计算其曲率，其中，ei为骨bi处边的法向量。T1121()(),for 1,2,3,4iiiiiiicieebbbb(14)1(),for 1,2,3,4iiinorminbb(15)114,if =1(),if 2,3,4,if =5iiiinormiinennn(16)通过定义相邻的bi，bi+1之间的角度距离来确保根骨落在正确的角度范围内，即 1(,)iiib b(17)将 曲 率ci和 角 距 离i限 制 在minmax,iicc和minmax,ii的有效范围内，即 798 计算机图形学与虚拟现实 2023 年 43Dminmaxminmax11()(;,)(;,)4RBiiiiiiiLJI c ccI(18)以确保LRB将手掌的预测关节定义为一个有效的结构。1.3.4 每个关节处的旋转角度约束LRA 定 义 弯 曲 和 外 展 角 为,fi(Flexion angles)和,2 2ai(Abduction angles)，给定运动范围的点,faiii，用固定的点集Hi在,faii平面上近似凸包。通过最小化点之间的距离，使得这些关节角度被限制在这个结构内，即 153D11()(,)15RAHiiiLJDH(19)其中，DH为i点到凸包Hi的距离。1.4 手部模型 本文选择MANO作为手部模型，因为其具有灵活且高度可配置的特性，可以很好地适应各种手部形状和位姿。MANO的表面网格可以通过形状参数R10和位姿参数R213进行完全变形和姿态化。表示从手部扫描中学习到的形状PCA基的系数，而为轴向角表示关节旋转。通过使用IRNet输出的形状参数和位姿参数对手部平均模板TRV3进行变形，以匹配不同手部的形状，并考虑到与位姿相关的变形。2 结果 2.1 实验细节 本文的网络在NVIDIA RTX 3080 GPU上使用Adam优化器进行训练，每个GPU的batch size为32，持续100个epoch，初始学习率为0.000 1，每10个epoch的衰减率为0.1。将输入图像的大小调整为128128，并使用随机缩放、旋转和颜色抖动来增强数据。3DHandNet的一次前馈传递用时需3.9 ms，IRNet需要0.4 ms。本方法实现了超过60 fps的运行时间性能。2.2 训练数据 3DHandNet在MSSGesture14和Rendered Handpose15 2个数据集上进行了训练。MSSGesture可满足多尺度和多背景条件的带有2D注释的手势数据集，包含了不同尺度、不同背景和不同环境条件下的手势图像2 522幅。RHD是合成数据集，包含21 358张3D注释的合成图像。IRNet使用了来自MANO模型的Hand MoCap数据和3DHandData进行训练。2.3 定性结果 图5展示了本文方法在4个具有挑战性的In-The-Wild图像上的结果，这些图像均未参与训练。结果表明本文方法能够很好地推广到从未见过的数据上，并能够准确预测手部关节的3D位置和角度。图6展示了本文的方法可从单一图像中捕捉到同一个手势的不同旋转角度的手形，重建的形状与输入图像中的受试者手形整体对齐，具有可信度。图 5 几个具有挑战性的场景下的结果(a)输入图像；(b)输出结果；(c)Mesh 覆盖)Fig.5 Show our results for several challenging scenarios (a)Input image;(b)Output result;(c)Mesh overlay)图 6 三维重建的形状与对齐效果(a)输入图像；(b)2D位姿；(c)3D 位姿；(d)输出结果；(e)Mesh 覆盖)Fig.6 Shape and alignment effects of 3D reconstruction (a)Input image;(b)2D pose;(c)3D pose;(d)Output result;(e)Mesh overlay)第 4 期 薛皓玮，等：融合生物力学约束与多模态数据的手部重建 799 在图7中，将本文方法与文献3和文献15在挑战性的In-The-Wild图像进行比较。结果表明本文方法可以生成完整的3D手部网格模型，并具有更好的鲁棒性。图 7 与文献3方法和文献15方法的比较(a)输入图像；(b)文献15；(c)文献3；(d)本文方法)Fig.7 Comparison with the methods in literature 3 and 15(a)Input image;(b)Literature 15;(c)Literature 3;(d)Ours)2.4 与相关工作比较 2.4.1 评估数据集 实验评估数据集为RHD16，Stereo Hand Pose Tracking Benchmark(STB)17，Dexter+Object(DO)18和EgoDexter(ED)18。2.4.2 评估指标 实验评估指标为正确的3D关键点的百分比(percentage of correct keypoints，PCK)和PCK曲线下的面积(area under curve，AUC)，阈值从20 mm到50 mm不等。2.4.3 定量比较 表1展示了本文方法在RHD，STB，DO，ED数据集上与其他最先进的方法的实验结果比较。实验结果表明，本文方法在DO，ED和RHD数据集上均优于其他方法。表 1 在 4 个公共数据集上与其他方法进行了比较 Table 1 Comparisons were made with state-of-the-art methods on four public datasets Method AUC of PCK DO ED STB RHD 本文方法 0.953 0.823 0.896 0.950(*)文献7 0.948 0.811 0.898(*)0.856(*)文献3-0.998(*)0.920(*)文献4 0.825-0.995(*)0.901(*)文献17-0.996(*)0.943(*)文献11 0.650-0.995(*)0.926(*)文献8 0.912-0.994(*)-文献16 0.763 0.674 0.994(*)-文献5 0.672 0.543 0.994(*)-文献19 0.573-0.948(*)0.670(*)注：加粗数据为最优值；*表示模型在该数据集上进行训练；-表示没有报告结果 2.5 消融实验 表2展示了对本文方法中的关键组进行消融对比实验和分析的定量评估结果。结果表明本文使用的各种模块和技术均对网络起到了正向作用，提高了模型的性能和泛化能力。具体来说，表2中的差异结果说明，IRNet模块作为姿势先验，可以纠正3DHandNet的原始3D关节预测；生物力学约束可以约束预测中的问题量，使其能够预测解剖学上可 信 的 手 部 姿 态，提 高 了 网 络 的 通 用 性；MSSGesture对于特征提取器和2D检测器的训练至关重要。提高了模型的泛化能力；3DHandData对于IRNet与3DHandNet的兼容至关重要。可以帮助处理有噪声的3D预测，从而获得最佳结果。图8为消融实验对比结果。结果表明，删除任何组件都会降低整体性能，每个组件都对改进最终结果有所贡献。表 2 消融实验 Table 2 Ablation study 序号Variants of our method AUC of PCK DO ED RHD 1 Full 0.9530 0.8230 0.9500 2 w/o IRNet 0.9130 0.8020.04 0.8080.073 w/o BMC 0.9305e4 0.7525e4 0.9250.044 w/o MSSGesture0.9260.05 0.8230.10 0.8090.115 w/o 3DHandData0.8730 0.7120.02 0.7380.04注：加粗数据为最优值 图 8 作为基线，与文献4进行了比较 Fig.8 As a baseline,was compared with the literature 4 3 结束语 本文提出了一种单目手部三维重建方法，该方法利用带有二维和三维注释的图像数据和手部动作捕捉数据来进行训练，解决了目前单目手势重建的设备成本高、响应速度慢等问题，能够高效地对手部动作进行重建。通过引入生物力学约束，实现了精准对齐和实时预测手部动作。定性 800 计算机图形学与虚拟现实 2023 年 实验和消融实验的比较和分析表明，本文方法在准确性、鲁棒性和运行时间方面相较其他方法均有明显地提升。虽然本文算法在不同环境下能够高效地重建手部动作，但仍存在一定的局限性，如手自遮挡、手抓握物体导致的遮挡、手部色域与肤色相差过大、手部尺度过小等情况。未来的工作将着重于算法在上述几个条件下的手部重建效果的提升上，可在网络模型中加入Transformer结构来增强图像特征、扩大感受野，让网络关注更重要的手部图像区域，从而提高模型对于手部姿态估计的准确率。进而扩大算法的实际应用场景。参考文献(References)1 童立靖,李嘉伟.一种基于改进 PointNet+网络的三维手姿估计方法J.图学学报,2022,43(5):892-900.TONG L J,LI J W.A 3D hand pose estimation method based on improved PointNet+J.Journal of Graphics,2022,43(5):892-900(in Chinese).2 TANG X,WANG T Y,FU C W.Towards accurate alignment in real-time 3D hand-mesh reconstructionC/2021 IEEE/CVF International Conference on Computer Vision.New York:IEEE Press,2021:11698-11707.3 GE L H,REN Z,LI Y C,et al.3D hand shape and pose estimation from a single RGB imageC/2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2020:10825-10834.4 ZHANG X,LI Q,MO H,et al.End-to-end hand mesh recovery from a monocular RGB imageC/2019 IEEE/CVF International Conference on Computer Vision.New York:IEEE Press,2020:2354-2364.5 IQBAL U,MOLCHANOV P,BREUEL T,et al.Hand pose estimation via latent 2.5D heatmap regressionC/European Conference on Computer Vision.Cham:Springer International Publishing,2018:125-143.6 CAI Y J,GE L H,CAI J F,et al.Weakly-supervised 3D hand pose estimation from monocular RGB imagesC/European Conference on Computer Vision.Cham:Springer International Publishing,2018:678-694.7 ROMERO J,TZIONAS D,BLACK M J.Embodied hands:modeling and capturing hands and bodies togetherJ.ACM Transactions on Graphics,2017,36(6):245.1-245.17.8 ZHOU Y X,HABERMANN M,XU W P,et al.Monocular real-time hand shape and motion capture using multi-modal dataC/2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2020:5345-5354.9 HE K M,ZHANG X Y,REN S Q,et al.Deep residual learning for image recognitionC/2016 IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2016:770-778.10 ARMAGAN A,GARCIA-HERNANDO G,BAEK S,et al.Measuringgeneralisation to unseen viewpoints,articulations,shapes and objects for 3D hand pose estimation under hand-object interactionC/European Conference on Computer Vision.Cham:Springer International Publishing,2020:85-101.11 BAEK S,KIM K I,KIM T K.Pushing the envelope for RGB-based dense 3D hand pose estimation via neural renderingC/2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York:IEEE Press,2020:1067-1076.12 ALBRECHT I,HABER J,SEIDEL H P.Construction and animation of anatomically based human hand modelsC/2003 ACM SIGGRAPH/Eurographics Symposium on Computer Animation.Cham:Springer International Publishing,2003:98-109.13 SPURR A,IQBAL U,MOLCHANOV P,et al.Weakly supervised 3D hand pose estimation via biomechanical constraintsC/European Conference on Computer Vision.Cham:Springer International Publishing,2020:211-228.14 范晶晶,薛皓玮,吴欣鸿,等.引入重影特征映射和通道注意力机制的手势识别算法J.计算机辅助设计与图形学学报,2022,34(3):403-414.FAN J J,XUE H W,WU X H,et al.Gesture recognition algorithm introducing ghost feature mapping and channel attention mechanismJ.Journal of Computer-Aided Design&Computer Graphics,2022,34(3):403-414(in Chinese).15 HASSON Y,VAROL G,TZIONAS D,et al.Learning joint reconstruction of hands and manipulated objectsEB/OL.2022-06-15.https:/arxiv.org/abs/1904.05767.16 ZIMMERMANN C,BROX T.Learning to estimate 3D hand pose from single RGB imagesC/2017 IEEE International Conference on Computer Vision.New York:IEEE Press,2017:4913-4921.17 ZHANG J,JIAO J,CHEN M,et al.3D hand pose tracking and estimation using stereo matchingEB/OL.2022-06-15.https:/arxiv.org/abs/1610.07214v1.18 SRIDHAR S,MUELLER F,ZOLLHFER M,et al.Real-time joint tracking of a hand manipulating an object from RGB-D inputC/European Conference on Computer Vision.Cham:Springer International Publishing,2016:294-310.19 BOUKHAYMA A,DE BEM R,TORR P H S.3D hand shape and pose from images in the wildC/2019 IEEE/CVF Conferen