多模态话语分析视角下英语词汇呈现方式研究——以背单词软件为例.pdf

Modern Linguistics 现代语言学现代语言学,2024,12(3),344-349 Published Online March 2024 in Hans.https:/www.hanspub.org/journal/ml https:/doi.org/10.12677/ml.2024.123210 文章引用文章引用:张祝香.多模态话语分析视角下英语词汇呈现方式研究J.现代语言学,2024,12(3):344-349.DOI:10.12677/ml.2024.123210 多模态话语分析视角下英语词汇呈现方式研究多模态话语分析视角下英语词汇呈现方式研究 以背单词软件为例以背单词软件为例 张祝香张祝香 人民教育出版社，北京 收稿日期：2024年1月22日；录用日期：2024年3月20日；发布日期：2024年3月31日 摘摘 要要 词汇学习效果与词汇呈现方式密切相关。背单词软件是当今风靡的词汇学习工具，本研究聚焦于背单词词汇学习效果与词汇呈现方式密切相关。背单词软件是当今风靡的词汇学习工具，本研究聚焦于背单词软件的词汇呈现及其意义构建方式，基于多模态话语理论对五款软件的多模态呈现方式进行分析。研究软件的词汇呈现及其意义构建方式，基于多模态话语理论对五款软件的多模态呈现方式进行分析。研究发现，背单词软件在词汇呈现时运用的模态较为丰富，且对模态选取具有一定的共性，除感觉模态以外，发现，背单词软件在词汇呈现时运用的模态较为丰富，且对模态选取具有一定的共性，除感觉模态以外，语言模态、图觉模态、声觉模态均有出现；模态间关系种类相对较少且比较稳定，其中“互补语言模态、图觉模态、声觉模态均有出现；模态间关系种类相对较少且比较稳定，其中“互补强化”关强化”关系最为常见。本研究旨在通过探究背单词软件中的词汇呈现方式，为纸质单词书的电子化工作提供借鉴。系最为常见。本研究旨在通过探究背单词软件中的词汇呈现方式，为纸质单词书的电子化工作提供借鉴。关键词关键词 多模态话语分析，词汇呈现方式，背单词软件多模态话语分析，词汇呈现方式，背单词软件 Research on English Vocabulary Presentation under the Perspective of Multimodal Discourse Analysis Taking the Example of Vocabulary Learning Applications Zhuxiang Zhang Peoples Education Press,Beijing Received:Jan.22nd,2024;accepted:Mar.20th,2024;published:Mar.31st,2024 Abstract The vocabulary learning effect is closely related to vocabulary presentation and vocabulary learning applications are popular tools for vocabulary learning nowadays.This study focuses on 张祝香 DOI:10.12677/ml.2024.123210 345 现代语言学 the vocabulary presentation of vocabulary learning applications and the way they construct meaning,and analyses the multimodal presentation of five applications based on multimodal dis-course theories.The study has found that the modalities that appear in vocabulary presentation by the vocabulary learning applications are relatively rich,and there is a certain commonality in the selection of modalities.Apart from sensory modalities,linguistic modalities,graphic modali-ties,and acoustic modalities are all present,with a relatively small and stable variety of intermod-al relationships,of which the“complementary-reinforcement”relationship is the most common.This study aims to shed light on the electronic work of vocabulary books and dictionaries by ex-ploring vocabulary presentation in vocabulary learning applications.Keywords Multimodal Discourse Analysis,Vocabulary Presentation,Vocabulary Learning Applications Copyright 2024 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution-NonCommercial International License(CC BY-NC 4.0).http:/creativecommons.org/licenses/by-nc/4.0/1.引言引言 词汇呈现方式是词汇习得研究的重要方向之一。词汇呈现是指将目标词以一定的手段展示给学习者，包括词形、读音、意义、搭配、用法等，常见的词汇呈现方式有词汇表、语义场、语境、图片、视频、描述、感知、游戏等。已有研究表明词汇学习效果与词汇呈现方式密切相关：何家宁1考察了使用词汇表、语义场和语境三种词汇呈现方式在记忆量和保持率方面的情况；曾建湘2考察了主题聚类和语义聚类下三种具体的词汇呈现方式对学习新词的影响；赵平3对比了传统教学模式和多媒体教学模式下的词汇呈现方式对词汇记忆效果的影响；杨玉明和温晴4比较了感知、游戏和描述呈现方式下儿童在动词习得效果方面的差异；刘凌和秦晓晴5研究了词汇表、图片/动画/影像、附带语境这三种词汇呈现方式对词汇学习与记忆的影响；崔旻6考察了基于多媒体技术的影视片段语境和词汇表两种词汇学习方式对词汇意义记忆的影响。文献汇总表明，词汇表呈现方式有利于学习者在短时间内记住大量单词，而图片、视频、语境等呈现方式有利于学习者的认知与理解，因而对单词的记忆保持度更好。学界已经证实有效的词汇呈现能促进词汇习得，如何有效呈现是下一步需要聚焦的问题。在当今视觉传播语境下，基于移动终端的词汇学习已成为学习者的常见选择，本研究选取 Android 系统和 iOS 系统中下载量前五1的背单词软件“百词斩”“百度翻译”“扇贝单词英语版”“墨墨背单词”和“不背单词”为研究对象。以多模态话语角度观之，单词呈现页面是集声音、图像、文字、色彩等模态符号为一体的多模态语篇，本研究尝试从多模态话语分析的视角探讨各种模态符号如何共同表意，并促成词汇的意义构建。2.理论基础理论基础 2.1.多模态话语多模态话语 Kress 7指出模态是在社会文化中形成的制造意义的符号学资源；国内学者朱永生8也对模态做了明确的定义，他认为模态是指传播的渠道和媒介，包括语言、技术、图像、色彩、音乐和其他符号系统。Open AccessOpen Access 12023 年 12 月数据。张祝香 DOI:10.12677/ml.2024.123210 346 现代语言学 多模态意味着在制造意义时有不止一种模态；李战子9认为多模态话语是指除了语言之外还有图像、图表等的复合话语，或者是任何通过一种以上的符号编码来实现意义的文本；朱永生将多模态话语定义为同时使用两种或两种以上模态的话语，或者在一种模态中包含两种或两种以上符号系统的话语。与上述观点相似，张德禄10提到，多模态话语是指使用多种感官，包括听觉、视觉和触觉，通过文字、图像、声音和动作等多种手段和符号学资源进行的交流。考虑到交际活动的复杂性，很少有只包含一种模态的话语，因为话语意义通常是复杂的，意义传递也可以是多样化的。Kress 和 van Leeuwen 11指出，“所有的话语都是多模态的”。正是基于这样的理解，本文选取了多模态话语的研究视角来分析背单词软件中的词汇呈现方式。2.2.多模态话语形式及模态间关系多模态话语形式及模态间关系 张德禄对多模态话语的形式及其关系进行了分类和描述(如图 1 所示)。他指出：“形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义另一种方法是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是语法的作用。”他认为除语言符号外，其他符号也具有形式层且有与语言符号相似的词汇语法系统，基于此，他将多模态话语的形式分为语言、图觉、声觉和感觉。根据该分析框架，模态之间需要互相补充来表达话语意义时，它们之间就是互补关系，反之是非互补关系，互补关系可以进一步分为强化和非强化关系。在强化关系中，一种模态是主要的交际形式，其他模态用来强化主要模态；在非强化关系中，模态之间相互独立、互相补充。非互补关系则进一步分为交叠、内包和语境交互三种关系。在交叠关系中，模态之间没有补充话语意义的作用，甚至互相排斥或抵消；在内包关系中，非主要模态对话语意义没有补充作用，只是使已有信息更加生动或更容易理解；语境交互指语境直接参与到交际过程中的情况，语境对话语意义有补充作用时，其他模态与之形成依赖关系，反之形成独立关系。理论上讲，多模态语篇中各种模态符号需要协同表征，共同促进表意目标的达成。在本研究词汇呈现的具体过程中，各种模态符号需要正向叠加以实现对词汇意义的贡献，避免对词汇整体意义建构起到负向作用。Figure 1.Forms of multimodal discourse and their relationships 图图 1.多模态话语形式及关系 张祝香 DOI:10.12677/ml.2024.123210 347 现代语言学 3.背单词软件中词汇呈现方式的多模态话语分析背单词软件中词汇呈现方式的多模态话语分析 3.1.背单词软件中的多模态话语形式及其关系背单词软件中的多模态话语形式及其关系 根据上文提到的模态分类方法，提取了五款软件词汇呈现页面的主要模态，背单词软件对词汇的呈现不止一个页面，本研究选取信息呈现最完整的页面为代表，提取结果如表 1 所示。需要指出的是，色彩是视觉模态中不可忽视的一种符号，具有独立的符号属性，但是需要依附于文字等符号来呈现。在本研究中，“色彩”无法归入本文主要借鉴的分类方法中，为使分析更全面，将其并入“语言”这一大类的视觉模态形式中。另外，图觉模态中有些具体的形式没有约定俗成的规范和名称，为了方便统计和表述，将其合并到“其他”中，它可以包含展开、添加、搜索、设置、返回等语法意义。Table 1.Vocabulary learning applications and the modalities in their vocabulary presentation pages 表表 1.背单词软件及其词汇呈现页面的模态 模态 背单词软件 语言 图觉 声觉 感觉 百词斩 英语、汉语、数字、色彩 喇叭、五角星、象形助记图画、例句配图 单词音频、例句音频、“斩”的音效 无 百度翻译 英语、汉语、色彩 喇叭、五角星、助记视频、垃圾桶、其他 单词音频、例句音频 无 扇贝单词英语版 英语、汉语、色彩 喇叭、五角星、垃圾桶、其他 单词音频、例句音频 无 墨墨背单词 英语、汉语、色彩 喇叭、其他 单词音频 无 不背单词 英语、汉语 喇叭、五角星、垃圾桶、其他 单词音频、例句音频、例句音频的背景声 无 根据表 1 可知，五款背单词软件所包含的多模态形式具有共性，模态数量稍有区别。语言模态方面，背单词软件的词汇呈现页面主要有英语、汉语和阿拉伯数字以及用以突出重点信息的色彩。图觉模态方面包括提示音频的喇叭，表示收藏单词的五角星，表示剔除单词的垃圾桶，用以助记的图案、图片和视频，还有其他一些图标。声觉模态方面主要包括单词和例句的音频，有两款背单词软件还分别出现了操作音效和例句音频的背景声。由于背单词软件自身物质形态的特性所限，感觉模态暂时没有出现。多模态话语意义的实现离不开各种模态间的相互作用，根据前文对多模态话语关系的定义和描述，表 2 归纳了这五款背单词软件中的主要模态关系，参考朱永生对多模态话语的定义，同一种模态中的不同符号系统之间构成的关系也属于模态间关系。Table 2.Relationships between modalities in vocabulary presentation pages of vocabulary learning applications 表表 2.背单词软件中词汇呈现页面的模态间关系 突出 主次 扩充 冗余 抽象与具体 语言内部 语言内部 图觉与语言 声觉与语言 声觉内部 声觉与语言 语言与图觉 语言与图觉 从表 2 可得知，背单词软件中词汇呈现页面的模态关系不算复杂。“突出”关系最为常见。例句中的目标单词被醒目的色彩标记，语言模态内部的色彩与英语就构成张祝香 DOI:10.12677/ml.2024.123210 348 现代语言学 了突出关系；百词斩中“斩”的音效对语言模态也具有突出的作用；收藏单词时，五角星的图标会变色，此时语言模态中的色彩与图觉模态中的五角星也是突出关系。“主次”关系只出现在语言模态内部，英语例句在展示单词用法时配以汉语翻译，在这种情况下，英语是主要模态，汉语作为次要模态对英语模态进行适当的强化。“扩充”关系虽然只出现在图觉模态与语言模态之间，其频率实际上非常高，各个背单词软件中除了有单词基本的音、形、义、例之外，还有很多拓展内容，由于页面空间所限，这些拓展内容只能“折叠”起来，由一些图标提示学习者可以点开查看更多内容，从某种角度来说，拓展内容化身为图觉模态中的各种图标了，因此，图觉模态与语言模态之间形成“扩充”关系。“冗余”关系出现在单词音频与单词、例句音频与例句之间，声觉模态看似没有提供新的信息，是语言模态的重复，其实弥补了语言模态无法体现的声响语法，如语调、语速、情绪等，因此这种“冗余”在语言学习中不可或缺。“抽象与具体”关系在同一种模态内部和不同模态间都有构成，比如，声觉模态中的例句音频与例句背景声之间，还有语言模态中的例句与图觉模态中的例句配图之间形成的都是抽象与具体的关系。汇总发现：突出、主次和扩充均属于“互补强化关系”这一大类，这说明背单词软件中运用多种模态的一个重要作用是为了对主要模态进行补充以更好地实现话语意义，内容充实、主次分明是背单词软件词汇呈现页面的首要追求，其他模态的功能是锦上添花。此外，值得注意的是，词汇呈现中的“冗余”并非无效重复，更不是对意义的负向建构，是词汇意义构建中的积极模态关系。3.2.背单词软件中词汇呈现方式及启示背单词软件中词汇呈现方式及启示 任何的多模态话语研究都是对意义的研究，背单词软件是信息技术催生的全新的话语类型，对新语类的表征形式、模态间关系和意义构建方式进行探究，有助于进一步认识这种话语形式，并对相关工作起到启发作用。背单词软件中的词汇呈现方式集合了语言、图觉、声觉等模态中的多种形式，与模态单一的词汇呈现方式相比更具丰富性、灵活性、情境性。在模态选择上，不同软件对模态的选取具有一定的共性，如语言模态中的英语和汉语，图觉模态中的喇叭、五角星和垃圾桶等，声觉模态中的单词音频和例句音频等，被同时采用的模态表明在呈现词汇时是不可或缺的，语言模态、图觉模态、声觉模态共同实现了词汇意义的建构。在模态间关系上，主要为突出、主次、扩充、冗余、抽象与具体。每一种模态间关系都发挥着不可替代的作用，突出关系强调重点信息，主次关系和冗余关系提升用户友好度，扩充关系丰富内容，抽象与具体关系优化用户体验感。多模态的词汇呈现方式有助于调动学习者的多重感官，增强信息的识别和储存，促进认知发展，有助于实现联想学习和情境化学习。少数背单词软件中出现的“稀有”模态不仅使词汇呈现方式得以更加完善，也成为了该软件的特色，如“百词斩”中“斩”的音效、“不背单词”中例句音频的背景声。值得关注的是，现阶段背单词软件中还没有感觉模态出现，可以预见，随着信息技术和人工智能的发展，背单词软件也将进一步升级和优化。背单词软件中的多模态话语形式及意义反映出了语言学习的需求与科技之间的辩证关系：需求与科技相互依存，互相作用。在传统教学场域，受场地限制、资源限制或媒介等限制的词汇呈现方式在很多方面无法满足语言学习者的学习需求，而依托新兴科技的背单词软件克服了语言学习的很多障碍，使移动学习、自主学习、趣味学习成为现实。4.结论结论 话语形式随着社会发展而不断变迁，相应地，词汇呈现方式从静态发展到动态，词汇呈现媒介从以张祝香 DOI:10.12677/ml.2024.123210 349 现代语言学 纸质为代表的课本到以手机为代表的移动终端。对社会变迁进程中的话语展开研究，有助于从动态的视角追踪话语构建方式。本研究对背单词软件中词汇呈现方式进行了多模态话语分析，在理论和实践方面都具有一定的意义。在理论方面，本研究运用张德禄基于系统功能语言学理论构建的多模态话语分析综合框架，以背单词软件这一新语类为研究对象，对词汇呈现方式进行了多模态话语分析，在理论与语料的结合方面具有一定的创新性，丰富了词汇呈现相关研究的视角，拓宽了词汇习得研究的领域。在实践方面，对背单词软件中词汇呈现方式的多模态话语分析有助于我们更好地了解其话语意义的实现方式，对涉及多模态词汇呈现方式的工作具有重要的参考价值，如词汇手册的编写、词典的编纂以及它们的电子化等，以便开发出更符合视觉传播时代认知习惯的产品，使每一位学习者既是受益者也是推广者。参考文献参考文献 1 何家宁.词汇呈现方式对词汇记忆影响的实验研究J.山东外语教学,1998(2):60-62.2 曾建湘.词汇呈现方式对刻意学习英语单词的影响J.外语学刊,2007(4):131-135.3 赵平.传统教学模式下与多媒体教学模式下词汇呈现方式之比较J.外语界,2007(6):53-58.4 杨玉明,温晴.儿童英语教学中不同词汇呈现方式的效果研究J.山东师范大学外国语学院学报(基础英语教育),2009,11(2):17-21.5 刘凌,秦晓晴.词汇呈现方式对英语词汇学习影响的实证研究J.外语界,2014(2):67-75.6 崔旻.多媒体教学环境下语境呈现方式对外语词汇意义记忆影响的实证研究J.海军工程大学学报(综合版),2016,13(3):82-87.7 Kress,G.(2010)Multimodality.Routledge,London.8 朱永生.多模态话语分析的理论基础与研究方法J.外语学刊,2007(5):82-86.9 李战子.多模式话语的社会符号学分析J.外语研究,2003(5):1-8,80.10 张德禄.多模态话语分析综合理论框架探索J.中国外语,2009,6(1):24-30.11 Kress,G.and Van Leeuwen,T.(1998)Front Pages:The Critical Analysis of Newspaper Layout.In:Bell,A.and Gar-rett,P.,Eds.,Approaches to Media Discourse,Blackwell Publishers Ltd,Oxford.