基于动作捕捉技术的虞姬剑舞体验系统设计与实现.pdf

收稿日期:2023-08-22基金项目:本文系北京市自然科学基金(1212010)、北京市社会科学基金项目(21XCC011)、北京印刷学院重点项目(27170121001/015、22150121035/001、20190123106、22150223062)研究成果。通信作者:刘龙第 32 卷 第 3 期Vol.32 No.3北 京 印 刷 学 院 学 报Journal of Beijing Institute of Graphic Communication2024 年 3 月Mar.2024基于动作捕捉技术的虞姬剑舞体验系统设计与实现吴瑞祺1,程明智1,鲍一鸣1,赵丹萍1,徐曼璇2,刘 龙1(1.北京印刷学院,北京 102600;2.广东省城市技师学院,广州 510800)摘 要:本文设计了一款动作捕捉技术下的虞姬剑舞体验系统,该系统利用动作捕捉技术采集数据到 Unity3D游戏引擎,实现了对京剧动作的实时教学。实验证明,该系统能够向体验者实时反馈剑舞动作的精确度,对动作捕捉技术在文化遗产传承中的应用具有一定参考价值。关键词:动作捕捉技术;实时动捕技术;交互设计;虞姬剑舞中图分类号:TP311文献标识码:A文章编号:1004-8626(2024)03-0052-041 相关工作简介目前我国正不断推行着传统文化的数字化保护,学者们基于不同的方式生产数字化资产,使我国的文化保护事业繁荣发展,但其中也有不足之处。朱怀南通过采用文献调研、数据调查等研究方法,通过查阅、检索等方式总结了一些研究基础;通过借鉴国内经典案例,分析了京剧脸谱艺术数字化传播的现状,对京剧脸谱数字化传播进行探究。文中仅进行了脸谱数字化的研究,但其他内容并未涉及。1耿奕璇通过使用 Processing 软件,将脸谱互动交互以体验式形式让大众与作品进行交互。2而对于京剧中表演动作的数字化资产制作则较为缺少,传统京剧选段霸王别姬中最重要的虞姬舞剑的表演动作更是无人问津。动作捕捉作为一种通过传感器记录真人演员的动作数据来还原演员动作的技术,近些年被不断应用于教学系统中。胡叶荣利用光学动作捕捉技术实现敦煌舞蹈数字化,构建虚拟人物模型,开发人机交互的敦煌舞教学演示系统,通过捕捉学员的动作进行教学,提高了教学系统的交互体验。3而郭颖提出利用动作捕捉技术将安塞腰鼓数字化,进而建立交互式教学系统,利用 Unity3D 调用 Kinect设备进行数据采集,最后运用编写代码,完成了交互系统。4李岩和董菲基于虚拟现实技术,设计和开发具有交互式训练功能的武术教学“仿真系统”。5文中作者阐述了系统的功能需求、框架结构设计,提出了演示性操控和自主性操控两种操控模式,提供了体育教学的数字运动解决方案。张宜春等人通过单目相机捕捉京剧表演者的运动画面,经由深度学习姿态估计,再经由流波处理得到准确的运动信息,最后导入游戏开发引擎Unity3D 中,通过将真实人体运动结点和虚拟人物关节点进行绑定,实现驱动虚拟人物仿照真人动作进行京剧表演的舞台效果。其实验表明,通过实时且准确地估计人体姿态,能够实现与虚拟人物较好的互动体验。6但其中缺乏专业的京剧内容,以互动娱乐为主。张晓华以京剧真假美猴王实验片段为例,探讨了动作捕捉与数字动画技术在京剧表演中的应用,文中借助动作捕捉与数字动画技术,制作了互动虚拟实验短片,使得京剧舞台呈现出不同于传统戏曲的舞台效果,为戏曲艺术的普及与推广提供了更加多元和便捷的平台。7综上所述,目前学者已开始尝试实现基于动捕技术的京剧教学系统,但其中缺乏京剧动作的教学,且多以娱乐型为主,专业性普遍不足。因此本文针对这种情况,提出通过动捕技术制作出京剧动作的体验系统,并以传统京剧霸王别姬中的虞姬剑舞片段为例。2 系统设计2.1 系统架构设计根据传统京剧霸王别姬选段的主要内容,系统主要通过 2 个部分让参与者体验学习,如图 1所示。图 1 系统总框架系统架构分为知识模块与剑舞动作模块,在知识模块中本系统首先介绍虞姬的背景故事,通过对虞姬这一历史角色的科普,让人们了解其在京剧霸王别姬中的重要地位。之后展示了京剧中虞姬的传统妆容和服饰,并以经典篇章为例,介绍梅派表演及基础的唱词,最后是经典剑舞动作的展示,本处通过播放视频的方式,让体验者感受虞姬剑舞刚柔并济的优美动作。在剑舞动作模块中,体验者需先穿戴动捕设备。在独立动作模块中,体验者将分别学习持剑起势、下蹲,鹞子翻身和斜身持剑三个动作,学习完成之后可进入整体动作学习模块,此模块为一段整体动作,为 3 个独立动作通过串联衔接而成,当体验者能流畅做完整体动作后,可进入测试模块检测自己动作是否标准。最后为自定义动作模块,体验者在有了剑舞动作基础后,可通过发挥创新思维,自己创作新的剑舞招式、编排新的剑舞片段。2.2 剑舞动作设计本系统基于虞姬剑舞的独立动作,通过串联简单的步伐,实现了一段整体的剑舞动作设计,在保证体验者动作连贯性的同时,不失剑舞的精华。持剑式起手:体验者左手反握剑柄背于身后,右手剑诀举于头顶,如图 2 所示。随后双手画圆收回同时身体左转,左脚向前踏出同时右手推出,左手摆于身后,右脚碎步跟上,之后右脚上前垫步,身体以右腿为中心顺时针转动到最初朝向,双腿自然移动,双手依旧成持剑式,同开始一样。图 2 持剑式起手串联动作 1:双手持剑,一边持剑向外摆手,一边向前走动,两次摆手后停留在原地。持剑下蹲:右腿向前一蹬,左腿弯曲并于右腿之后,身体呈下蹲状,此时又是持剑平举于头顶,左手持剑横于身后,如图 3 所示。图 3 持剑式下蹲鹞子翻身:左腿回到原本位置,双手持剑画圆,重心左移,右脚后撤于身体左后侧,双剑交叉横于腰前,随后右脚转动同时身体向后转,下腰,双剑由腰间向身后伸出,做鹞子翻身状,如图 4 所示。图 4 鹞子翻身串联动作 2:转动身体,此时身体由后转向前方,重心落在右腿,双剑继续交叉举于头上,之后左腿回于原本位置,双手展开又回到身前呈抱球状。斜身持剑:以左腿为中心,逆时针旋转一周,身体探向前方,左腿蹬于后侧,左手握剑沿斜上方刺35第 3 期吴瑞祺,程明智,鲍一鸣,等:基于动作捕捉技术的虞姬剑舞体验系统设计与实现去,右手向后方刺去,以此动作结束整个剑舞体验,如图 5 所示。图 5 斜身持剑2.3 界面设计体验者进入系统后,在初始界面中通过点击按钮开始体验,之后在知识模块中体验者均通过鼠标点击按钮的形式进行界面跳转,知识模块界面演示如图 6 所示。图 6 知识模块界面而在剑舞动作模块中,由于体验者穿戴动捕设备不宜操作鼠标,所以系统在本模块中通过语音识别技术进行交互,当体验者说出开始等关键字并被系统识别后,即可进行体验。在开始剑舞动作模块时,系统将进行提示,提示 UI 如图 7 所示。图 7 语音提示 UI3 系统功能实现3.1 实时动捕功能实现为了实现实时动捕功能,本系统使用了 Xsens MVN 惯性动捕,结合 Unity 插件实现。首先创建并配置项目,之后导入在 Unity 官方资源网站上下载的插件到项目中。回到 MVN Anelyze 软件中,在设置菜单里进行网络配置,由于数据流依靠网络协议发送,所以 Unity 系统与 MVN 动捕数据采集应在同一网络环境下进行。将插件导入的预制体拖入场景中,并将 Mvn-Puppet 的子物体 Avatar 赋予到其自带的脚本 Xs Live Animator(Script)对应的位置上,通过此脚本实现对于人物模型的控制效果,最后确保子物体Avatar 姿势为 T Pose,(即一般默认情况)这样就实现了实时动捕功能,效果如图 8、图 9 所示。图 8 Unity 中动作图 9 MVN 中动作3.2 实时夹角显示功能实现本系统为了更好地体现出体验者与专业京剧老师在动作准确度上的差距,通过对比两者虚拟人物模型运动时产生的骨骼角度差值,来实现动作准确度的判断功能。部分伪代码如下:Debug.Log(RightUpperArm:+RightUpperArm.trans-form.localEulerAngles);Debug.Log(RightForeArm:+RightForeArm.transform.localEulerAngles);Debug.Log(current:+“x”+GetCurrentEulerAngle(RightUpperArm,RightFore-Arm).x+n+45北 京 印 刷 学 院 学 报2024 年“y”+GetCurrentEulerAngle(RightUpperArm,RightFore-Arm).y+n+“z”+GetCurrentEulerAngle(RightUpperArm,RightFore-Arm).z);之后通过 Debug 代码记录下运算后的数据,并输出到自定义的 UI 上,这样便实现了体验者动作精确度的实时显示功能,效果如图 10 所示。图 10 差值显示3.3 语音识别功能实现本系统剑舞动作模块基于 Unity 中 TimeLine开启或关闭来实现,因此需制作语音控制 TimeLine切换状态的功能,通过 Unity 内对应的 API 进行代码编写,识别逻辑如下:if(m_PhraseRecognizer=null)m _PhraseRecognizer=new KeywordRecognizer(key-words,m_confidenceLevel);m _ PhraseRecognizer.OnPhraseRecognized+=M _PhraseRecognizer_OnPhraseRecognized;m_PhraseRecognizer.Start();private void M _ PhraseRecognizer _ OnPhraseRecognized(PhraseRecognizedEventArgs args)_Timeline(control);private void OnDestroy()if(m_PhraseRecognizer!=null)m_PhraseRecognizer.Dispose();void _Timeline(control)switch(control)case 开始:Timeline.play();break;case 结束:Timeline.stop();break;default:break;效果如图 11 所示。图 11 语音控制 TimeLine4 结论本系统通过利用动作捕捉技术结合 Unity 3D引擎,开发出体验传统京剧片段中剑舞动作的功能,让更多没有接触过京剧的人可以感受到虞姬剑舞的魅力,体验者通过系统的两个主要模块,了解有关虞姬的凄美爱情故事以及悲情的结局,也可以亲身参与学习梅兰芳大师的梅派剑舞动作,加强了学习中的趣味性。未来系统的优化方向首先是在于安哥拉角度的差值显示方法,目前显示方式抽象,用户难以看懂,之后将换作更易看懂的方式显示,优化用户的交互体验。而对于系统的扩展,主要为自定义模块的加入,玩家基于已经学习的动作结合自己的想法编排出新的剑舞片段,通过这种方式实现了系统的可持续发展,让人们更好地了解剑舞和京剧,为京剧动作的创新不断创造出新的血液,保护京剧这份人类文明的瑰宝。参考文献:1 朱怀南.京剧脸谱艺术的数字化传播研究D.天津:天津科技大学,2021.2 耿奕璇.基于 Processing 程序下的数字化京剧脸谱J.明日风尚,2022(5):175-178.3 胡叶荣.基于动作捕捉技术的敦煌舞教学演示系统设计与实现D.兰州:西北民族大学,2022.(下转第 72 页)55第 3 期吴瑞祺,程明智,鲍一鸣,等:基于动作捕捉技术的虞姬剑舞体验系统设计与实现ammoniaJ.Applied Catalysis B-Environmental,2023,330.38 Bigiani L,Gasparotto A,Maccato C,et al.Dual Improvement of-MnO2 oxygen evolution electrocatalysts via combined substrate control and surface engineeringJ.Chemcatchem,2020(23):5984-5992.Progress in Preparation of Manganese Oxide Films by Vapor Deposition and Component RegulationREN Jiaxuan,FANG Hongli,YANG Douhao,LIU Bowen,WANG Zhengduo,LIU Zhongwei(Laboratory of Plasma Physics and Materials,Beijing Institute of Graphic Communication,Beijing 102600,China)Abstract:In this paper,we introduce the preparation of manganese oxide films by vapor deposition method and component regulation,including physical vapor deposition,chemical vapor deposition and atomic layer deposition.In particular,the technique of plasma enhanced chemical vapor deposition/atomic layer deposition is summarized.And the prospect and the development of the manganese oxide film are given.Key words:manganese oxide films;physical vapor deposition;chemical vapor deposition;atomic layer deposition(责任编辑:周宇)(上接第 55 页)4 郭颖.基于动作捕捉技术的陕北安塞腰鼓交互式教学系统研究D.西安:西安理工大学,2020.5 李岩,董菲.体育(武术)教学仿真系统的设计J.山东体育学院学报,2008(9):94-96.6 张宜春,黄一鸣,潘达.基于人体姿态估计的京剧虚拟人物互动系统J.中国传媒大学学报(自然科学版),2022(6):43-49.7 张晓华.动作捕捉与数字动画技术在京剧表演中的应用研究 以京剧真假美猴王实验片段为例J.演艺科技,2021(4):43-48.Design and Implementation of Yu Ji Sword Dance Experience System Based on Motion Capture TechnologyWU Ruiqi1,CHENG Mingzhi1,BAO Yiming1,ZHAO Danping1,XU Manxuan2,LIU Long1(1.Beijing Institute of Graphic Communication,Beijing 102600,China;2.Guangdong City Technician College,Guangzhou 510800,China)Abstract:This paper designs a Yu Ji sword dance experience system based on motion capture technology.The system uses motion capture technology to collect data to Unity3D game engine to realize real-time teaching of Beijing Opera movements.The experiment proves that the system can feedback the precision of sword dance movements to the experiencer in real time,which has certain reference value for the application of motion capture technology in the inheritance of cultural heritage.Key words:motion capture technology;real-time dynamic capture technology;interaction design;Yu Ji sword dance(责任编辑:周宇)27北 京 印 刷 学 院 学 报2024 年