基于多模态数据融合的大学英语视听说教学改革研究.pdf

教育教学研究110_基于多模态数据融合的大学英语视听说教学改革研究黄美琳（广州新华学院，广州 523133）摘 要：针对大学视听说教学效果难以在课程实施阶段得到有效提高的现状，本文通过分析多模态学习分析理论与多模态数据融合教学，指出多模态数据融合在大学英语视听说教学中的具体应用，并提出构建多模态语料库工具的视听说教学模式，以及与该模型相对应的教学评价系统及两者相互作用的逻辑关系，为信息数据化时代大学英语视听说教学改革提供一个较为系统的构想。关键词：多模态数据融合 大学英语视听说2018 年教育部办公厅印发的中国英语能力等级量表对英语理解能力和表达能力做了清晰界定，同时针对各项能力制定对应的自我评价量表，为大学听说读写译能力教学目标指明了方向。在信息化时代，随着多媒体技术及移动应用的发展，多模态数据融合在英语学习中的应用越来越广泛。当下网络新媒体蓬勃发展，大学生肩负跨文化交流、讲好中国故事的任务，大学生的英语听力理解与口语表达能力为拓宽职业生涯道路、传播中国文化奠定重要基础。而在现实的大学视听说教学环节中，由于教学资源匮乏、教学设备更新不足、教学信息技术滞后等，教师很难在规划的教学周期内有效提高学生的听力理解及口头表达能力。鉴于此，借鉴多模态数据融合学习分析理论，把多模态数据融合运用到教学改革中，无疑是提高学生的学习效率和学习质量的最佳途径。一、多模态学习分析理论与多模态数据融合教学研究综述在当前数字经济全面发展的态势下，高校与时俱进、深化数字化教学改革成为推动时代变革的重要组成力量。英语作为大学的公共必修课程，既要让学生为未来的工作和深造打下英语语言基础，又要让学生拓展国际视野乃至承担起跨文化交际的沟通作用。近些年的线上线下混合式教学经验的累积，使一线英语教师在数字化、信息化时代背景下尝试多模态教学模式成为可能。（一）多模态学习分析理论与多模态数据融合语言学习研究多模态学习分析是指学习分析在当前技术环境下的新发展，使用来自物理空间和数字空间的各种数据形式，采用不同的分析方法来处理动态产生的多模态数据，并利用学习情境中的行为、情感、认知等相关理论来实现学习分析的目标与价值。赵亮在博士论文中提出：“多模态数据是指对于同一个描述对象，通过不同领域或视角获取到的数据，并且把描述这些数据的每一个领域或视角叫作一个模态。”1而多模态数据融合指的是利用计算机进行多模态数据的综合处理，负责融合各个模态的信息来执行目标预测。2黄立鹤在基于多模态语料库的语力研究：多模态语用学新探索一书中指出：“交际语言的本质是多模态的，语言研究不仅是词句结构和话语的研究，还要考虑韵律、表情、动作等非语言媒介。”因此，语言的研究路径包括符号学属性的多模态研究、人机教育教学研究1112023.11_交互和学习科学中的多模态研究、神经语言学的多模态研究以及多模态语料库的研究。（二）国内外相关研究综述当前学界对多模态学习分析的研究比较多，同时对基于多模态数据融合在具体领域里的模型设计与应用研究也不少。其中，多模态学习分析的三大研究领域是“多模态感知与情绪分析、多模态数据融合与挖掘、多模态表征与对象识别”。关于语言方面的多模态学习研究，主要探讨多模态语料库构建、多模态数据融合建模与具体学科的深度学习融合应用。此外，关于学习数据检测方面，研究的热点“包括多模态学习数据采集与系统设计、多模态学习认知与行为分析、多模态学习分析方法与工具开发”3-6，从而呈现出从现代学习理论的单模态数据检测转向多模态数据表征检测，更加全面、准确地了解学习过程，并对各种数据源和模式进行分析。二、多模态数据融合在大学英语视听说教学中的应用（一）影响大学英语视听说能力认知的范畴多模态数据融合对英语听力能力认知产生深刻而全面的影响，通过融合多模态数据研究，不仅可以提高英语听力认知的效果，还可以比较不同模态数据融合方式的效果差异，探讨多模态数据融合在英语听力学习中的应用价值，为师生提供全面的学习反馈。在研究多模态数据融合对英语视听说认知的综合提高效果中，我们通过比较不同模态数据融合方式的效果差异，探讨多模态数据融合在英语听力与阅读学习中的应用价值。（二）实现教学方案和教学材料设计的最优化把多模态数据融合理论具体化到英语听力与阅读教学中，通过设计相应的教学方案和教学材料，探索多模态数据融合在英语听力与阅读教学中的最佳实践，为英语学习者提供更加高效、便捷、有趣的学习方法。多模态数据融合是一种结合多种数据源的技术，如音频、视频和文本，以提供对特定现象的更全面的理解。在大学英语视听说教学中，多模态数据融合可为学生提供一个更具沉浸式和互动性的环境来增强学生的学习体验。在大学英语视听说教学课中，多模态数据融合的一个特殊用途是将母语使用者的视频和录音整合到课程中。通过使用这些录音，学生可以在现实生活中听和观看母语者的说话，以便帮助提高自己的发音、语调和对语言的整体理解。另一种应用是文本和音频材料的整合，例如，教师可以为学生提供录音记录，以帮助他们理解录音中使用的语言结构和词汇。通过结合文本和音频材料，学生可以更全面地发展他们的听力和口语技能。多模态数据融合也可以用来创建交互式学习活动，如虚拟角色扮演游戏或模拟情景。这些活动可以为学生提供更具沉浸感和吸引力的学习体验，帮助他们以更自然和真实的方式发展视听说能力。（三）完善大学英语视听说学习的多元化评价体系由于不同国家及地区的语音、语调和文化背景的差异，英语听力理解和口语交流的认知难度都很大。多模态数据融合理论可以通过丰富的语料库及教学呈现方式，在有效提高大学英语视听说学习教学效果的同时，通过丰富评价指标、促进个性化评价和学生的综合能力、提高反馈效果等方面来实现多模态的多元评价体系的完善。在丰富评价指标方面，多模态数据融合理论可以将不同类型的数据综合起来，如语音、视频、文本等，从多个角度对学生的视听说能力进行评价，从而丰富评价指标，提高评价的全面性和准确性。在个性化评价方面，多模态数据融合理论可以基于学生的个性化需求和学习情况，对不同学生采用不同的评价方式和标准，从而实现个性化评价，促进学生的个性化学习和发展。在促进学生的综合能力方面，多模态数据融合理论可以将不同类型的数据融合起来，从而促进学生的综合能力的发展，如语言表达能力、情感表达能力、思维能力等，从而提高学生的视听说能力和综合素质。在提高反馈效果方面，多模态数据融合理论可以将不同类型的数据综合起来，从多个角度对学生的视听说能力进行评价，从而提高反馈的准确性和针对性，为学生提供更加有效的反馈，促进其提高视听说能力。三、构建多模态语料库工具的视听说教学模式根据中国英语能力等级量表的指标体系，构建多模态语料库工具的视听说教学模式，是实现大学教育教学研究112_英语视听说教学质量提升的基础。初步构建多模态数据语料库的大学英语视听说教学模型将包括以下多个步骤。（1）收集数据。收集包含音频、视频和文本数据的多模态数据语料库。语料库应该包括各种真实的材料，如对话、讲座、采访和新闻广播，让学生接触到不同类型的英语语言情景及文化口音语境，更加直观真实地体验英语的运用。（2）开发多模态教学模式。开发一个包含多模态数据语料库的教学模式，需为学生设计全面的学习经验，包括整套分层次的视听说练习、反馈和评估环节。整个环节是可持续循环、相互促进的，反馈和评估对进一步丰富语料库的练习起到促进作用，多模态语料库的丰富也为练习的准确度、评估的全面性提供更坚实的基础。（3）数据预处理。对收集到的数据进行预处理，以确保其质量适合在教学模式中使用，包括整理数据，将其分割成更小的单元，并使用相关信息对其进行注释，如情境中会话者的信息、主题情绪和态度等。数据预处理阶段应根据整个系统评估指标体系进行数据分层整理，如词汇量、话题难易度、语速等多种具体的指标进行单元分层与归类。（4）集成多模态数据语料库。多模态数据语料库应该以支持学习目标和活动的方式集成到教学模式中，具体可根据校本教材选取符合该校学生水平的语料。例如，音频和视频录音可用于提供听力练习，而文本记录和文本数据可用于提高听力理解和专题性口语表达。（5）提供反馈和评估。教学模式应包括反馈和评估机制，为学生提供关于他们的听力、复述和演讲技能的个性化反馈。这可以通过自动语音识别、自然语言处理和机器学习算法来实现。学生根据语料库中分层的训练模块，针对学习反馈结果提高训练难度，将达到全面提高的效果。（6）评估教学模式。使用各种指标来评估教学模式的有效性，如学生的训练结果、参与度和满意度。该模型应根据评价结果进行改进，以确保满足学生的个性需求，支持不同学生的学习目标。通过以上步骤，对数据进行收集和预处理、开发教学模型、集成多模态数据语料库等，最终建立基于多模态数据语料库工具的英语视听说教学模型，再通过反馈和评估以确保模型的有效性。四、多模态数据融合大学英语视听说教学评价系统（一）多模态数据融合大学英语视听说教学评价系统的应用在大学英语视听说教学中，多模态学习分析理论可以用于跟踪和分析学生的视听说理解技能，并提供个性化的反馈，强化并提高学习效果。英语视听说中的多模态学习分析可以包括各种数据源，如录音、成绩单、学时追踪数据和自我报告的反馈等。这些数据源可以用来识别学生视听说学习行为的模式和趋势，如识别关键信息的能力、注意力的持续时间以及处理口语的能力。使用多模态学习分析理论下的分层教学，教师可以根据学生个人的视听技能为学生提供个性化的反馈。学生在努力识别关键信息的时候，教师可以提供额外的练习或学习建议，进而提高他们的视听说技巧。例如，全新版大学英语视听说教程 2关于“climate change”（气候变化）的主题单元，教师可以教材中配置的视频作为第一层级模块训练，训练后如果没能达到口头复述的效果，课后再推送微信公众号搜索到的关于“Green house effect”（温室效应）的视频给学生，同时需要设计与视频相关的关键问题以便学生能顺利回忆起与话题相关的关键知识点和词汇，要求学生在平台进行口头回答，以此实现英语视听说运用能力的提升。多模态学习分析理论还可以用来跟踪学生在一段时间内的进步，并确定是否需要额外支持的学习模块。除了提高学生的表现，多模态学习分析理论还可以用于教学实践反馈及改革。通过分析多个来源的数据，教师可以深入了解教学方法的有效性，并根据需要进行适当调整。（二）多模态数据融合对大学英语视听说学习评价体系的完善多模态数据融合学习分析理论有助于完善大学英语视听说学习评价体系的多元化，具体可以从以下三个方面得到体现。首先，评价数据类型的多样化。采用多种不同类型的数据，如语音、视频、文本等，综合评价学生的视听说能力，从而提高评价的全面性和准确性。其教育教学研究1132023.11_次，评价数据来源的多元化。从不同来源获取数据，如学生录制的语音和视频、教师提供的范例等，以确保数据的多样性和可靠性。最后，评价指标的多样化。根据不同类型的数据，设计相应的评价指标，如语音数据可以评价发音的准确性、语调的抑扬顿挫等，视频数据可以评价肢体语言、面部表情等，从而实现评价指标的多样化。通过以上三个层面的多种数据融合，用加权平均、主成分分析等方法，教师可将不同类型的数据综合起来，得到更加全面而准确的评价结果，再根据评价结果的反馈进行个性化评价调整，即根据学生的个性化需求和学习情况，采用不同的评价方式和标准，如针对不同学生的语音难点，结合分层教学设置相应的评价指标和标准，从而实现个性化评价。（三）多模态数据融合学习评价体系对视听说教学改革的促进通过多模态数据融合的大学英语视听说教学评价结果反馈，教师能得到客观且综合的教学效果反馈，对推动教学改革有较大的实践意义。第一，多模态语料库要求增加多元化的学习材料，即提供多种不同类型和难度的视听说材料，以满足不同学生的学习需求和兴趣。大学教师可以教研室、课题组等为依托，搜集整合相关视听说语料，上传到学校教学平台，实现线上线下混合教学。第二，将促使教师采用多样化的教学方式方法，如小组讨论、角色扮演、辩论等，以提高学生的互动和参与度，培养他们的口语表达能力。第三，采集多模态的学习数据，会增加个性化的学习体验，并根据学生的学习情况和需求，提供个性化的教学方案和学习支持，如辅导、答疑、课内外小测等，以促进学生的自主学习和终身学习。第四，将要求教师的教学全过程需结合各种现代化的教学技术手段，如在线学习平台、移动学习应用、虚拟教室等，为学生提供更加丰富、便捷和灵活的学习渠道和方式。第五，将加强评估和反馈。多模态数据融合的大学英语视听说教学评价能建立有效的评估和反馈机制，及时了解学生的学习情况和进展，为学生提供针对性的指导和建议，以帮助他们更好地提高视听说能力。五、结语从多模态数据融合视角探索大学英语视听说教学多模态融合教学的创新模式，提出该模式的基本模型构建与对应的评价系统。在建立多模态数据语料库工具的英语视听说教学模型基础上，多模态数据融合理论可以通过多种数据类型和来源的多样化、数据融合方法的多样化、评价指标的多样化和个性化评价而实现对学生视听说能力的全面和准确的评价，完善大学英语视听说学习评价体系的多元化，最终促进学生视听说能力的提高。而完善大学英语视听说学习评价体系的多元化，需要结合多种手段和策略，以满足不同学生的学习需求、提高学习效果。因此，多模态数据融合的大学英语视听说教学研究是一个良性的可持续的能在每一环节相互促进的循环过程。参考文献：1 赵亮.多模态数据融合算法研究 D.大连：大连理工大学，2018.2 任泽裕，王振超，柯尊旺，等.多模态数据融合综述 J.计算机工程与应用，2021（18）：49-64.3 牟智佳，符雅茹.多模态学习分析研究综述 J.现代教育技术杂志，2021（6）：23-31.4 任惠平.基于语料库的大学外语视听说教学模式研究 J.江汉石油职工大学学报，2021（2）：57-59.5 王丽英，何云帆，田俊华.在线学习行为多模态数据融合模型构建及实证 J.中国远程教育，2020（6）：22-30，51.6 周天楠，白雪晴.多模态智慧教学与大学英语翻译课堂的深度融合模式探析 J.成都师范学院学报，2022（12）：80-87.（责任编辑：刘娟娟）