VR教学中学习者多模情感计算研究_白占俊.pdf

河南科技Henan Science and Technology计算机科学与人工智能总第806期第12期2023年6月VR教学中学习者多模情感计算研究白占俊1司俊勇1付永华1，2（1.郑州航空工业管理学院，河南郑州450015；2.航空经济发展河南省协同创新中心，河南郑州450015）摘要：【目的目的】识别 VR 教学中学习者的学习情感，提升学习者学习效率、学习感知和思维能力，促进 VR 技术在教学中的高效应用。【方法方法】结合课堂教学特点，通过收集面部表情、语音、肢体动作等数据，实现多模数据融合的情感计算，确定最优情感计算模型。【结果结果】在多模数据融合模型中，赋予各种情感不同权重的模型整体输出的识别率要高于赋予各种模态不同权重的模型整体输出的识别率。【结论结论】多模数据融合的学习情感识别模型能有效计算出 VR 教学中学习者情感，为多模数据融合的情感计算提供有效的基础模型，研究基于多模数据融合情感计算技术，为VR教学中的情感计算提供可靠的技术路径。关键词：情感计算；VR教学；多模数据；学习情感中图分类号：TP391.41文献标志码：A文章编号：1003-5168（2023）12-0035-08DOI：10.19968/ki.hnkj.1003-5168.2023.12.007Research on Multimodal Affective Computing of Learners inEducation VRBAI Zhanjun1SI Junyong1FU Yonghua1,2(1.Zhengzhou University of Aeronautical,Zhengzhou 450015,China;2.Collaborative Innovation Center forAviation Economy Development,Hennan Province,Zhengzhou 450015,China)Abstract:PurposesTo identify the learning emotion of learners in VR teaching,improve their learningefficiency,learning perception and thinking ability,and promote the efficient application of VR technology in teaching.Methods Combined with the characteristics of classroom teaching,the data of facialexpression,voice and body movement were collected to realize the multi-module data fusion of emotioncalculation and determine the optimal emotion calculation model.Findings The multi-module data fusion learning emotion recognition model can effectively calculate the learners emotion in VR teaching,and provides an effective model basis for the multi-module data fusion emotion calculation.The researchon the emotion calculation technology based on the multi-module data fusion provides a reliable technical path for the learning emotion calculation in VR teaching.Conclusions In the multi-module datafusion model,the recognition rate of different weights assigned to different emotions in the overall outputof the model was higher than that assigned to different weights.Keywords:affective computing;education VR;multi-mode data fusion;learning emotion收稿日期：2023-02-09基建项目：河南省教育厅人文社科项目“新时代大学生理想信念教育现状及策略研究”（2023-ZDJH-439）；2023年郑州航院教育教学改革研究与实践项目“黄河文化融入高校课程思政教育体系研究与实践”（zhjy23-36）；2023 年度郑州航员研究生教育改革和发展研究“黄河文化精神融入研究生思政教学实践路径研究”（2023YJSJG04）；河南省高等学校重点科研项目“多模态全场景富情感阅读情境关键技术研究”（23B520007）。作者简介：白占俊（1992），男，硕士，助教，研究方向：思政教育技术。36第12期0引言随着人工智能、5G、VR等技术的快速发展，其对多个领域的发展都产生巨大影响，也能助力高校教学的现代化转型。目前，教学VR已有法务实战演练1、医技情景模拟2、大学体育训练教学3、航空航天技术教学4等应用案例。VR技术作为新媒体技术，具有沉浸性、交互性、自主性、想象性等特点，将其应用于实际课堂教学中，为高校教育教学理念带来新的启发，从而有效提高教学的时代感和实践性，扩大教学效果和深度。同时，VR技术能将教学中的复杂概念可视化，使学习过程具有互联网思维，提高教学对学习者的吸引力，使学习者沉浸式的课堂学习体验更佳。但VR教学无法对学习者的过程情感进行分析预测和精准干预，导致学习者的情感无法得到准确回应，难以提升其学习效率、学习感知和思维能力。运用情感计算技术来对VR教学过程中的学习者进行情感识别和分析具有重要的理论价值和实践意义。现阶段，情感计算技术包括基于单模的面部表情、语音、脑电信号等数据进行计算和基于重量级生理反馈两类，但这两类情感计算技术在VR教学场景中的适用性较低。首先，单模的面部表情、语音、脑电信号等数据的可解释性较弱，难以实现多模数据的交叉印证和相互补偿，可能会对情感识别的准确性产生影响。其次，基于重量级生理反馈技术的成本高、试验场地复杂，无法在实际的课堂教学环境中大规模、常态化应用5。通过对已有的情感计算技术研究进行梳理，本研究提出基于多模数据融合的情感计算技术，以期满足常态化VR教学中学习者情感计算的应用场景。1研究现状1.1VR教学VR 技术融入教学的发展势头良好。李玲玲等6认为VR技术能突破传统课堂教学的时间、地域等限制，为教学理念创新和实践提供新机遇；梁军等7认为应用VR技术能拓展教学实践空间、构建积极的课堂氛围，并完善社会主义核心价值观建设体系。VR技术结合课堂教学的基础理论研究不断涌现。陈梦翔等8提出VR技术在高校教育中的应用理论基础是情景认知理论、人本主义理论和建构主义学习理论；邓卉9基于具身认知理论，提出学习者具身体验能激发对心理情感的认知，认为VR教学是基于具身认知理论、认知学习理论和建构主义学习理论的。VR技术结合教学的模式众多。甘琴等10从子模块设置、系统功能模块和用户角色功能关系这三方面出发，构建基于VRML的高校课堂虚拟实践系统，并将所有角色划分为管理员、教师和学生；余图军等11提出虚拟仿真教学和探究性教学的两种结合模式，并将VR技术应用于对教学的对策研究中；张毅翔等12认为应注重顶层设计、凝练团队，结合教学课程重点、要点来开发具体内容，实现VR课程建设；徐礼平等13认为应结合VR教学和传统教学，加强VR形式和教学内容的结合，提高教师媒介素养，教师引导学生进行自学。VR技术在教学层面的实践研究逐渐深入。金伟等14借助VR技术来实现在武汉辛亥革命纪念馆课堂中的教学；赵亮等15在北京理工大学“重走长征路”实践案例的基础上，提出大力普及VR技术，并将其深度应用于校园学习和生活中，从而优化VR技术的沉浸体验感。1.2教育中的情感计算目前，情感计算并未形成权威的概念。情感计算属学科交叉领域，涉及社会科学、医学、计算机科学等领域，通过计算机来识别、解释、判断、分析、处理和模拟人类情感16。Picard17是最早提及情感计算概念的，其将情感计算定义为由情感所产生、与情感相连结、能对情感造成影响的计算。情感计算与情感、情感产生及影响情感紧密相关，从而使计算机能识别、理解、表达和适应人的情感18。情感计算在教育中的应用范围逐渐扩大。情感计算在教育中的实践应用通常从心理、生理和行为这三个方面进行测量，识别学习者的情感并进行判断19。心理测量是通过情感测评量表和调查问卷来对学习者的情感进行识别的。如赖长春等20借助情感测评量表来实现课程学习情感测量。生理测量是通过观测学习者的生理信号（如心率、脑电、体温等），从而实现对情感的判断21。也有学者基于深度学习算法来识别、分析所采集到的被测试者的心电和脉搏数据，从而判断学习者的正负性情绪22。行为测量是通过外在行为动作（如面部表情、肢体动作等）来对学习情感进行识别的。徐振国等23通过卷积神经网络深度学习模型，基于学习者面部表情数据，实现对开心、愤怒、悲伤等情感的识别；Li等24通过深度学习网络，实现基于学习者白占俊，等.VR教学中学习者多模情感计算研究第12期37面部表情和所处环境信息的情感识别。通过多模式传感器对学习者身体姿态进行测量，并分析其与情感的关联状态25。综上所述，情感计算可通过心理、生理和行为这三个方面来实现。其中，轻量级的情感识别技术能更好地实现情感计算。1.3多模数据计算现阶段，基于单模数据的学习情感分析识别的准确率明显要低于基于多模数据融合的学习情感分析识别的准确率，多模数据融合已成为实现情感计算切实可行的方法。数据融合是指将多种数据进行存储、整合、处理，基于全面的综合数据才能实现决策准确性的提升。情感计算中多模数据的研究主要包括以下两个方面。一是多模数据融合的方法。如蒋艳双等26提出的四种数据融合法，包括基于规则的融合法、基于分类的融合法、基于估计的融合法和基于深度学习的融合法。二是多模数据的类型。在线数据分析领域包括个人共享数据、服务数据和行为数据等27，学习分析领域包括心理层、生理层和行为层三大类数据28。随着数据规模和数据类型呈指数增长，能适用于情感计算的数据也随之增多，基于多模数据融合的学习情感分析研究也取得较为显著的成效。处于同一层级的多模数据融合包括以下两个方面。一是多模生理数据融合。如 Abdu 等29通过采集脑电数据和心电数据，采取基于多模数据融合与深度学习法来分析和识别被测试者的情感。二是多模行为数据融合。如Sun等30通过收集面部表情和肢体动作数据来获得较单独面部表情分析更优的识别结果。处于不同层级的多模数据融合也涵盖三个方面。第一，生理数据与行为数据的融合。通过融合脑电图数据和表情数据来进行情感识别，研究发现该方法的识别准确率要高于单模数据31。第二，心理数据与行为数据的融合。如薛耀锋等32通过将面部表情、文本和语音数据融合来识别学习者的学习情感。第三，生理数据、心理数据和行为数据的融合。如周萍33通过融合脑电数据、面部表情数据和文本数据来判断学习者的学习参与度。综上所述，融合心理、生理、行为的多模学习数据能实现对学习者的情感计算，且基于深度学习的多模数据融合能提高情感判断的准确率。2VR教学中学习者多模数据获取2.1试验组织本研究被测试的对象为55名大学生，其中25名男生、30名女生，年龄范围为1827岁。涉及的试验设备有摄像头（采用具有自动对焦功能的高清摄像头）、VR一体机（包括VR眼镜与手柄，为被测试者提供课程沉浸式体验）、头戴式麦克风话筒（具有高灵敏拾音麦头、强抗干扰功能）、实际教学资源（在线检索大学语文作为教学资源，向被测试者提供四段5 min左右时长的视频）、ELAN标注工具（被试通过标注工具对自己的过程情感进行标记）、情感标注工具。使用由 PyQt5自主开发的情感标注软件，其具有数据导入、数据信息、数据删除、标签类型功能。2.2多模数据选取在VR教学场景中，情感数据的收集方式因应用场地的限制而有所不同。结合实际VR教学中常用的设备，学习者在佩戴VR设备时因遮挡而导致无法完整采集到面部表情信息。同时，学习者在学习过程中会随着课程内容而做出外在肢体动作，生理信号监测设备可能会限制学习者行为，从而影响情感识别结果。因此，选取面部表情、语音和肢体动作这三种外在行为作为数据源，实现多模数据交叉印证和相互补偿，从而确保学习情感识别的准确率。2.3多模数据收集2.3.1数据采集与择选。首先，采集数据。学习者在观看VR教学视频时，可借助摄像头、头戴式麦克风话筒分别对其面部表情、肢体动作和语音数据进行采集，对被测试者自评进行情感标记，并保存数据。由于头戴式VR设备的遮挡，故对学习者下半部脸的表情数据进行分析。其次，筛选数据。采集到的数据中必然存在不合格图像和语音数据，如图像数据不完整、面部遮挡过多、图像不清晰或语音声音过小、杂音等，通过机器筛选、人工复查等来删除不合格数据。2.3.2数据标注。数据标注包括被测试者自行标记和研究人员标记。被测试者借助 ELAN标注工具事先标记自己学习过程中不同时间面部表情、语音、肢体动作情感状态。试验过程中，参考的面部表情运动特征见表 134，语音参考 CVE 数据库35、肢体动作参考Weizmann行为数据库36，结合被测试者自行标记的结果，利用情感标注工具对数据信息进行标注。2.3.3情感划分与选定。将常态、疑惑、开心、厌倦四种情感状态记为VR教学过程中可能出现的学习情感，如此划分的原因有以下三个方面。第白占俊，等.VR教学中学习者多模情感计算研究38第12期一，本研究将情感计算应用于VR教学学习场景中，师生间的交互方式单一，学习者情感类型较少，波动较小37；第二，通过对采集到的数据分析后发现，被测试者在 VR教学实践中常表现出常态、疑惑、开心、厌倦这四种状态，其他情感很少出现；第三，Poria38通过研究发现，在学习过程中，学习者经常出现的情感为沮丧、厌倦、疑惑等。因此，本研究将情感划分为常态、疑惑、开心、厌倦四种，在此基础之上进行情感标注和分析。2.3.4数据集划分。共收集到面部表情数据4 879 张、语音数据 4 634 条、肢体动作数据 4 954张。三个数据集均按 60%、20%、20%比例划分为训练集、验证集和测试集，得到面部表情数据的训练集2 927张、验证集976张、测试集976张；语音数据的训练集2 780条、验证集927条、测试集927条；肢体动作数据的训练集2 972张、验证集991张、测试集991张。3基于多模数据的情感计算3.1多模数据融合模型总体架构多模数据融合的情感计算模型分为数据采集、情感识别和数据融合三部分，如图1所示。其中，数据采集主要通过第三方输入设备（摄像头、头戴式麦克风话筒）来收集学习者外在行为数据；情感识别通过Mel-spectrogram和卷积神经网络来构建三种数据源学习情感计算模型；数据融合借助决策融合策略的多模数据融合，对各数据源进行权重赋值，将基于三种数据源的数据识别结果进行融合，从而获得情感计算结果。3.2基于深度学习的多模数据识别模型选择3.2.1图像数据。本研究基于卷积神经网络模型来提取面部表情和肢体动作特征。卷积神经网络模型常用于文本分词、图像数据提取与预测，能对海量的图像数据进行处理。本研究选取VGG-16卷积神经网络模型对图像数据进行情感计算。3.2.2语音数据。在语音情绪识别领域中，语音的梅尔频谱（Mel-spectrogram）表现良好39。因此，本研究采用Mel-spectrogram特征来识别语音情感。Mel-spectrogram 能把语音频率转变成梅尔尺度的频谱图，其转换过程如下：通过短时傅里叶变换（short-term Fourier transform，STFT）对原始语音数据中的时频特征进行提取，获取时频特征后，利用 Mel 滤波器组得到 Mel-spectrogram。在转换过程中涉及Mel频率的转换，设原始频率为f，经转换后的Mel频率为fMel，转换关系见式（1）。fMel=25 951 g()1+f100（1）图1多模数据融合的学习者情感计算模型白占俊，等.VR教学中学习者多模情感计算研究情感常态疑惑开心厌倦特征表现嘴角轻微向上或水平、脸部无明显倾斜上唇抬起、下唇向下、上下唇紧闭、脸部向上抬起或下压、嘴角下拉嘴角向后拉并抬高、嘴张大、牙齿露出、脸颊抬起、脸部拉长、脸颊提升嘴角向下、上唇抬起、上下唇紧闭、嘴角拉伸、嘴角下拉、唇轻微凸起表1脸下半部表情运动特征表现学习者数据采集语音数据面部表情数据肢体动作数据情感识别卷积神经网络模型Mel-spectrogram数据融合语音数据语音数据语音数据权重赋值情感计算结果第12期393.3多模数据融合方法在多模数据融合过程中，情感计算结果是由所采用的融合方法来决定的。本研究通过赋予三种数据不同权重来进行情感计算。在赋权重前，考虑到不同数据模型有所差异，对情感计算结果会产生不同影响，不同数据模型对不同情感识别也不相同。因此，本研究将权重赋值融合分为多模数据融合模型整体输出赋予各种模态不同权重、多模数据融合模型整体输出中赋予各种情感不同权重。本研究用 pface=p0face、p1face、p2face、p3face来表示面部表情数据的输出结果、pvoice=p0voice、p1voice、p2voice、p3voice来表示语音数据的输出结果、pbody=p0body、p1body、p2body、p3body来表示肢体动作数据的输出结果，xm、xn、xz为赋予面部表情、语音和肢体动作的权重。多模数据融合模型整体输出赋予各种模态不同权重的计算见式（2）。p=xm pface+xnpvoice+xz pbody（2）多模数据融合模型整体输出中赋予各种情感不同权重的计算见式（3）。p=i=0i=3xmpiface+j=0j=3xnpjvoice+t=0t=3xzptbody（3）式中：p 为融合模型最终的识别率；piface、pjvoiceptbody分别为面部表情数据模型、语音数据模型和肢体动作数据模型的四种情感输出结果；p0face、p0voicep0body为常态情感；p1face、p1voicep1body为疑惑情感；p2face、p2voicep2body为开心情感；p3face、p3voicep3body为厌倦情感。4结果与分析4.1多模数据融合模型结果通过对面部表情、语音、肢体动作赋予不同权重，得到多模数据融合模型的结果。其中，多模数据融合模型整体输出赋予不同权重的结果见表2，识别率最高的5组权重赋值见表3。xm（面部表情权重）0.10.10.10.10.10.10.10.10.20.20.2xn（语音权重）0.10.20.30.40.50.60.70.80.10.20.3xz（肢体动作权重）0.80.70.60.50.40.30.20.10.70.60.5p多模数据融合识别率67.32%68.21%68.67%68.98%69.11%68.82%68.25%67.48%68.34%69.01%69.22%表2多模数据融合模型整体输出赋予不同权重的识别情况表3多模数据融合模型整体输出赋予不同权重中的识别率TOP5xm（面部表情权重）0.30.40.30.40.4xn（语音权重）0.30.30.40.40.2xz（肢体动作权重）0.40.30.30.20.4p多模数据融合识别率77.58%76.21%77.67%76.78%77.23%白占俊，等.VR教学中学习者多模情感计算研究40第12期由表 3 可知，当 xm=0.3、xn=0.4、xz=0.3 时，识别准确率最高，为77.67%。根据权重赋值情况可知，当xm、xn、xz所赋权重值接近时，识别准确率较高。4.2实证分析4.2.1多模数据融合情感识别准确率分析。两种模型在测试集中的识别率情况见表4，研究发现，多模数据融合模型整体输出中赋予各种情感不同权重的识别准确率为 78.89%，要高于多模数据融合模型整体输出赋予各种模态不同权重的准确率（77.67%）。4.2.2最优模型情感识别结果分析。情感识别最优模型是指多模数据融合模型整体输出中赋予各种情感不同权重，该模型的情感识别情况见表 5。开心情感识别的准确率最高，为80.21%；其次是厌倦、疑惑、常态，分别为 78.32%、78.21%、77.25%。由此可知，在多模数据融合模型中，模型整体输出中赋予各种情感不同权重的识别率要高于模型整体输出赋予各种模态不同权重的识别率。多模数据融合模型对开心情感的识别准确率是最高的，其次是厌倦、疑惑、常态。5情感计算驱动前瞻的VR教学VR教学中的情感计算从试验方案走向大规模应用落地还有许多问题要攻克。本研究从情感计算数据源、VR教学课程内容自适应调整、VR教学安全预案这三方面进行论述，如图2所示，以期在将来的研究中能实现改进。结合实际应用场景来变更VR教学中用于情感计算的数据。随着情感教学中的场景不断增多，仅图2情感计算驱动的VR教学前瞻表4两种模型识别准确率情况模型类别识别准确率多模数据融合模型（模型权重不同）77.67%多模数据融合模型（情感权重不同）78.89%白占俊，等.VR教学中学习者多模情感计算研究表5最优模型不同情感识别情况情感类别识别准确率常态77.25%疑惑78.21%开心80.21%厌倦78.32%生理数据 心理数据 行为数据选取数据源实际应用场景学习者情感分析判断预设实施德育VR输出情感计算情感计算自适应调整课程内容德育内容学习者情感分析实现最佳教育效果学习者情感分析教育安全预案第12期41聚焦于外在行为动作的数据集分析已无法满足VR教学领域众多的应用场景，要结合实际情况来选取心理、生理、行为等方面的数据源对学习者情感进行识别与计算。如通过VR眼镜感知学习者脸部肌肉的动态变化来获取更为精准的面部表情数据、VR手柄受挤压力度来判断学习者的握力大小、可穿戴式脉搏测量手环来记录学习者的脉搏数据等。数据集越大，情感识别的结果越准确，但会造成实际应用成本过高、计算量过大，无法大规模常态化应用等问题。尽管本研究未提及用心理或生理数据来分析学习者的情感，但在未来的研究工作中将从不同数据源融合的角度出发，来研究VR教学中学习者情感状态。根据情感识别结果自适应调整VR教学内容。VR技术应用于教学的目的是创新文化教育途径，实现实践与教学内容相适配，达到最优化教学效果和教学目标。在未来 VR 教学的大规模普及应用中，识别学习者情感将为个性化学习内容推送、课堂内容动态化调整等提供服务。根据实时情感识别结果为学习者推送合适的个性化学习内容，如当前学习者处于疑惑状态时，系统可为学习者提供与当前学习内容相关的解释性学习资源，帮助学习者解决问题；当学习者处于厌倦状态时，系统能切换学习内容，从而满足学习者个人学习预期，达到更佳效果。参考文献：1 张敏婧.高校思政教育VR（虚拟现实）应用研究：以重温入党誓词 VR 系统为例 D.南昌：江西财经大学，2021.2 万珍妮.VR技术在高职思政理论课教学改革中的实效性分析：以 井冈山会师VR项目 为例 J.国际公关，2019（9）：50-51.3 丁炜，姚雪存.基于四明山VR红色教育平台的思政课程研究 J.现代信息科技，2020（10）：196-198.4 陈梦翔，徐策.基于VR技术的沉浸式红色教育基地的实践路径探究 J.创新创业理论研究与实践，2021（18）：148-151.5 翟雪松，束永红，楚肖燕，等.轻量级生理反馈技术的教育应用及测量：基于20152020年的文献综述 J.开放教育研究，2020（6）：37-46.6 李玲玲，李欢欢.数智时代VR赋能高校思政课创新研究 J.南京开放大学学报，2022（3）：9-14.7 梁军，马明飞.虚拟仿真技术在思想政治理论课中的应用探索 J.大理大学学报，2018（11）：93-97.8 陈梦翔，徐策.基于VR技术的沉浸式红色教育基地的实践路径探究 J.创新创业理论研究与实践，2021（18）：148-151.9 邓卉.基于跨界融合理念的课程思政路径研究：以VR场景制作课程为例 J.教师，2021（20）：87-88.10 甘琴，董金权.基于VRML的高校思想政治理论课虚拟实践教学的实现 J.凯里学院学报，2011（2）：19-22.11 余图军，孙萌，姜晓武.新时代虚拟现实技术助推思政理论课教改探究 J.智库时代，2019（29）：52-53.12 张毅翔，李林英.思想政治理论课虚拟仿真实践教学的内涵及其建设 J.学校党建与思想教育，2016（11）：59-61，77.13 徐礼平，李林英.思想政治理论课虚拟现实技术教学:意义、局限与对策 J.思想教育研究，2017（9）：62-65.14 金伟，韩美群.“红色”虚拟实践教学在思想政治理论课中的运用 J.思想理论教育导刊，2013（6）：77-80.15 赵亮，杜玥，李赫亚.虚拟现实技术在思想政治理论课中的创新应用 J.学校党建与思想教育，2018（12）：34-35，38.16 付心仪，薛程，李希，等.基于姿态的情感计算综述 J.计算机辅助设计与图形学学报，2020（7）：1052-1061.17 PICARD R W.Affective computing:challenges J.International Journal of Human-Computer Studies，2003（1/2）：55-64.18 蒋艳双，崔璨，刘嘉豪，等.教育领域中的情感计算技术：应用隐忧、生成机制与实践规约 J.中国电化教育，2022（5）：91-98.19 姚鸿勋，邓伟洪，刘洪海，等.情感计算与理解研究发展概述 J.中国图象图形学报，2022（6）：2008-2035.20 赖长春，陈丽霞.小学数学学业不良学生学习情感现状调查与教育策略：基于9 887名小学五年级学生数学学业质量监测数据的比较分析 J.教育科学论坛，2021（22）：21-24.21 王丽英，何云帆，田俊华.在线学习行为多模态数据融合模型构建及实证 J.中国远程教育，2020（6）：22-30，51，76.22 胡新荣，陈志恒，刘军平，等.基于多模态表示学习的情感分析框架 J.计算机科学，2022（S2）：631-636.23 徐振国，张冠文，孟祥增，等.基于深度学习的学习者情感识别与应用 J.电化教育研究，2019（2）：87-94.24 LI Q C，GKOUMAS D，LIOMA C，et al.Quantum-inspired multimodal fusion for video sentiment analysis J.Information Fusion，2021，65：58-71.25 DRAGON T，ARROYO I，WOOLF B P，et al.Viewing student affect and learning through classroom observationand physical sensorsC/9thInternational Conference on Intelligent Tutoring Systems，2008:29-39.26 蒋艳双，崔璨，逯行，等.双师课堂中的多模态学习情感分析：关键问题、逻辑理路与实施路线 J.现代教育技术，2022（4）：13-20.27 尹诗白，王一斌.多模态情感计算在社区居家养老心理服务中的应用 J.信息系统工程，2022（2）：49-52.白占俊，等.VR教学中学习者多模情感计算研究42第12期28 吴永和，李若晨，王浩楠.学习分析研究的现状与未来发展：2017年学习分析与知识国际会议评析 J.开放教育研究，2017（5）：42-56.29 ABDU S A，YOUSEF A H，SALEM A.Multimodalvideo sentiment analysis using deep learning approaches，asurvey J.Information Fusion，2021，76：204-226.30 SUN Z K，SARMA P，SETHARES W，et al.Learning relationships between text，audio,andvideovia deep canonical correlation for multimodal language analysis J.Proceedings of the AAAI Conference on Artificial Intelligence，2020（5）：8992-8999.31 李文潇，梅红岩，李雨恬.基于深度学习的多模态情感分析研究综述 J.辽宁工业大学学报（自然科学版），2022（5）：293-298.32 薛耀锋，杨金朋，郭威，等.面向在线学习的多模态情感计算研究 J.中国电化教育，2018（2）：46-50，83.33 周萍.基于多模态深度学习的音乐情感分类算法 J.智能计算机与应用，2022（9）：110-114.34 程萌萌，林茂松，王中飞.应用表情识别与视线跟踪的智能教学系统研究 J.中国远程教育，2013（3）：59-64.35 LIU P，PELL M D.Recognizing vocal emotions inMandarin Chinese:a validated database of Chinese vocalemotional stimuli J.Behavior Research Methods，2012（4）：1042-1051.36 GORELICK L，BLANK M，SHECHTMAN E，et al.Actions as space-time shapesJ.IEEE Trans Pattern AnalMach Intell，2007（12）：2247-2253.37 余胜泉，王慧敏.如何在疫情等极端环境下更好地组织在线学习 J.中国电化教育，2020（5）：6-14，33.38PORIA S，MAJUMDER N，MIHALCEA R，et al.Emotion recognition in conversation:research challenges，datasets，and recent advances J.IEEE Access，2019，7：100943-100953.39 MUPPIDI A，RADFAR M.Speech emotion recognition using quaternion convolutional neural networksC/ICASSP 2021-2021 IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP）.IEEE，2021:6309-6313.白占俊，等.VR教学中学习者多模情感计算研究