多模态翻译研究：内涵、现状与路径.pdf

收稿日期:作者简介:陈琴()女湖南郴州人广东外语外贸大学高级翻译学院博士研究生研究方向为翻译学多模态翻译研究:内涵、现状与路径陈 琴(广东外语外贸大学 高级翻译学院广州)摘 要:进入 世纪以来“多模态翻译”日益成为国内外翻译研究中的热点话题为视听翻译、口译、笔译以及翻译教学研究提供了新的视角并成为中国文化传播、中国对外话语体系建构必不可少的手段 当前的多模态翻译研究主要有三条路径:系统功能语言学、语料库以及语用学 翻译实践者与研究者都需要具备多模态意识掌握识解与分析文字、图画、视听等多模态融合的文本的能力以满足向全世界“展示真实、全面、立体的中国”的需求关键词:多模态翻译内涵现状路径中图分类号:文献标志码:文章编号:()一、引言随着全球化和数字媒体的迅猛发展非语言符号在交际中扮演的角色日益凸显 在此背景下以 和 为代表的系统功能语言学家基于 的系统功能语言学理论提出了“多模态话语”的概念喊出“一切交际都是多模态的”的口号 受此影响翻译学界逐步认识到“多模态”对翻译实践及翻译研究的重要性著名翻译理论家 也声称:“严格意义上来说没有任何文本是单模态的”在国内“多模态”与典籍翻译、国际传播能力建设的联系日益紧密 在“讲好中国故事传播中国声音展示真实、立体、全面的中国”的背景下加强多模态翻译研究将反哺多模态翻译实践有助于提升中国在国际舞台上的软实力二、多模态翻译研究的内涵顾名思义多模态翻译研究即对多模态翻译这种活动的研究 然而由于“模态”和“多模态”概念的不确定性“多模态翻译”的内涵也较为模糊“什么是或不是一种模态取决于特定的群体()”但纷杂的定义有一共性即认为模态是一种作用于人类感官的表意符号具备交际功能 等鉴于模态定义的不确定性提出要对其进行工作定义采用什么样的研究路径就使用该路径已提出的定义 本研究对模态进行如下分类并列举可能对口笔译翻译实践与研究产生影响的模态针对翻译研究领域发生的新变化 将翻译分为“模内翻译”()和“模际翻译”()使模态成为了新的翻译单位如表 所示这一新的翻译二分法突破以语言为中心的传统翻译观更能满足多模态传播态势下的翻译实践和翻译研究需求 对多模态的定义主要有两个视角:特定语境下多个模态的共存或观众/读者对共存的模态的解码过程后者强调共存的多种模态只有在人对其进行解读时才真正互动 因此可以说只要在翻译的理解与表达过程中有多种模态的参与这样的翻译就可以被称为“多模态翻译”多模态翻译研究是翻译研究与多模态研究的界面研究是从多模态的视角探讨翻译理论的建构、分析翻译语篇、翻译实践、翻译教学等话题与传统的翻译研究的区别在于其不仅关注语言还是研究翻译语境中的“不同模态的存在和互动”既关注模态内翻译也关注模态间翻译基本研究问题包括()译文的模态符号如何再现原文不同模态在翻译过程中的转码和意义构建()翻译过程中各模态间的互动和联系()行动者在翻译过程中如何通过决策发挥多模态元素的能动作用表 以“模态”为单位的翻译分类翻译类型内涵文化内跨文化模内同一个模态内的转换如从语言到语言从图片到图片如:将德语戏剧译为维也纳戏剧在儿童烹饪书中将某菜谱的图片进行替换如:将迪士尼的米老鼠漫画译为日本漫画图片元素依据目标语文化进行调整将一首摇滚歌曲的音乐换成雷鬼模际不同模态间的转换如语言与图片间的转换如:将圣经译为同语漫画将一本配图说明手册译为同语的纯文字文本如:将圣经译为异语漫画将一本配图说明手册译为异语的纯文字文本图 多模态翻译中的模态分类 三、国内外多模态翻译研究现状国内外从多模态的视角进行翻译研究始于 世纪 年知名国际期刊 发表了一期专刊探讨多模态翻译同年翻译领域的权威期刊 第四期刊登了三篇与多模态翻译相关的论文除了期刊论文讨论多模态翻译的专著和论文集相继出版翻译学专著或论文集中开始收录有关多模态翻译的章节 以下分别从视听翻译、笔译、口译、翻译教学四个方面梳理国内外的多模态翻译研究现状(一)视听翻译视听翻译是促进翻译研究“多模态转向”的根本动因也是多模态翻译研究中成果最为丰硕的领域研究对象包括字幕翻译、配音、画外音、口述影像、歌/戏剧唱词字幕、游戏本地化等 第一个提出“多模态翻译”概念的学者 于 年发表的论文 中便以电影字幕的翻译作为研究对象 该文主要对多模态和多媒体翻译进行理论思考探讨语言在多模态翻译中的角色并提倡采用交叉学科的方法进行多模态翻译研究从本体论和方法论层面为多模态翻译研究奠定基础 整体而言字幕翻译是视听翻译研究中最受关注的领域的多模态转写方法()被认为是“整体分析多模态文本以及得出关于各种符号模态如何成功传递意义的结论的完美工具”是字幕翻译研究领域的常用方法 另一种重要的研究方法是借用系统功能语法对电影的视觉模态和语言模态的三大元功能 概念功能、人际功能、语篇功能进行分析 随着技术的飞速发展视听翻译领域目前极为关注无障碍翻译即为失聪或重听观众将听觉符号转换为字幕或为盲人将视觉符号转换为口述信息 相比字幕、配音等的翻译无障碍翻译的多模态属性更为明显因为正是观众缺乏处理视觉或听觉元素的能力才使得对这些元素进行跨语和跨符的翻译变得必要国内的多模态翻译研究同样始于对电影字幕翻译的研究李妙晴以电影阳光灿烂的日子的英语字幕为例分析字幕翻译中概念意义、人际意义和语篇意义的再现 字幕翻译研究论文在重要期刊上的发文量较少原因可能在于这些论文的重复性较高多以张德禄基于系统功能语言学提出的多模态话语综合框架为基础从文化、语境、内容、表达层面对某一电影的字幕翻译进行分析 除了字幕翻研究戏剧翻译是国内多模态翻译研究的另一重要领域可见的最早成果是朱玲的博士论文该研究基于 的视觉语法和 的听觉语法对所选的五个牡丹亭英译版本中的视觉和听觉模态进行分析通过原文和译文的对比发现译者对原作多模态性的识别以及在各自译文中对这些多模态性的复原及效果 近些年还有研究以张德禄的分析框架或视觉、听觉语法为分析手段对中国戏剧的翻译进行了研究 口述影像研究 是我国视听翻译研究的前沿方向(二)笔译多模态视域下的笔译研究的对象主要有漫画、广告、绘本等 是从多模态视角对漫画翻译进行研究的先驱尤其关注漫画中幽默的翻译为漫画翻译研究提供一个全面的理论分析框架 其研究揭示了漫画中幽默的产生离不开副语言和非语言符号的事实认为仅关注语言的转换会导致译文中幽默效果的遗失 在漫画翻译中语言仅构成翻译内容的一部分排版符号(字体、字号、布局、格式等)、图像符号(颜色、速度线、小插图、视角等)都可能需要被替换、删除或有所增加 则将漫画中的模态范围扩大至漫画中人物的手势、姿势、眼神或表情等认为它们都会影响漫画读者的阅读过程 广告语篇中的语言和图像、音乐等的融合使用极具创造性其多模态属性要求必须将多种模态纳入研究范围才可更全面地研究广告翻译行为 多模态视角下的绘本翻译研究主要考察插画在绘本翻译过程中的角色以及图文关系对译者的翻译过程和读者的阅读产生的影响在中华文化走出去的大背景下中国典籍的多模态外译备受关注以蔡志忠的典籍漫画的英译最为典型如西游记菜根谭孔子说等 蔡志忠用漫画翻译了 部典籍研究显示其漫画译本在国外的接受度良好 这些研究认为将严肃的典籍文本进行符际翻译有利于典籍的对外传播蔡氏译本的成功是语内、语际和符际翻译共同作用的结果尤其蔡氏的符际翻译功不可没 吴赟和李伟认为对中国文化进行视觉翻译即“运用文字、图形、图像、视像等多符号系统的重组、编码与互动来实现不同文化体系间交际的翻译行为”有助于解决纯语际翻译中文化被稀释的问题 对典籍进行多模态翻译不失为促进典籍走出去的有效手段但多模态翻译产品的传播效果还取决于多模态翻译的质量、文本本身的内容以及传播过程中的其他因素(三)口译多模态口译研究多探讨“具身模态”即眼神、手势、表情等对口译活动的影响.总结了多模态口译研究的两大方向:认知研究和互动研究 认知研究关注同传过程中的多模态输入尤其视觉输入给口译带来的认知效果互动研究探讨多模态资源在口译员介入的对话中的角色此类研究主要采用话语分析的路径 眼动追踪法已成为研究译员认知活动的有效方法比如 使用该方法研究被试在翻译数字时的视觉注意力的分配要求被试在翻译过程中同时观看说话人的视频和 页面 等的研究表明在带稿同传中当多模态输入信息不一致时译员更依赖视觉输入的信息 互动研究的语料皆为真实发生的口译场景如法律口译、教育口译、医疗口译的录音或录像需要通过特定的软件进行转写(如)然后采用以会话分析为主的分析方法进行话语分析 的研究发现口译员的非语言活动非常活跃 如果译员对它们的功能不了解或者口译技巧不佳那么译员用来促进交际成功的非语言元素可能会起到事与愿违的作用 因此口译学员不仅需要意识到自己选择的译文的隐含意义还需关注肢体语言对互动的影响国内的多模态口译研究聚焦多模态口译语料库的构建 多模态语料库是指包含经过转写、处理与标注的语言文本及与文本紧密关联的音视频数据库目的在于采用实证方法系统地研究语言符号与非语言符号之间的相互作用 创建多模态口译语料库、直接对音视频语料进行切分与标注能更完整地保留语料的多模态信息有效克服文字口译语料库的不足更好地开展口译研究 但多模态口译语料库的建设目前仍存在较多技术障碍真正实现语言和非语言信息同步呈现和标注的只有意大利的电视口译语料库、欧洲议会口译语料库 以及上海交大的 语料库 当前对多模态口译语料库的建设多停留在理论层面真正建成并用于实证研究的语料库还未出现 郎玥等研究了图片幻灯片辅助()、文字幻灯片辅助()和无幻灯片()三种输入模态对专业译员认知加工路径的影响发现译员在翻译专有名词时记忆配对的加工路径出现最多且 说明文字幻灯片的辅助作用最大翻译非专有名词时幻灯片辅助对同传过程无显著影响概念整合的加工路径出现最多 蒋莉华和李颖也对口译过程中 的作用进行了探讨 对比国内外多模态口译研究发现国外多关注具身模态国内多关注“离身模态”如(四)翻译教学翻译研究的“多模态”转向改变了翻译教学研究只关注“教学中教师和学生的言语以及所使用的文字语篇”的传统文字、言语、图像、身体、运动、与物体的互动等都成为了研究对象 在教学环境中教室布局、黑板、老师的话语、肢体语言、表情、着装等都可以成为可利用的模态 多个研究提倡在翻译教学中利用多种模态(如肢体动作、文字、声音、录像、图片等)辅助教学采用线上线下相结合的方式同时利用虚拟情景进行翻译教学 四、多模态翻译研究的主要路径(一)系统功能语言学路径系统功能语言学的多模态话语分析法是多模态翻译研究中应用最为广泛的研究方法韩礼德提出的语言的三大元功能(概念、人际、语篇功能)被拓展至其他模态尤其视觉模态 系统功能语言学理论是多模态理论生根发芽的土壤被认为不需要经过任何改动就可以直接作为多模态话语分析的理论框架 但该路径存在一定局限性 从现有研究来看学者多运用系统功能语言学理论分别对多模态文本中的各个模态实现的三大元功能进行分析如 使用系统功能语法分别对影片中的视觉模态和语言模态的元功能研究字幕原文与译文间的转换两种模态的分析是割裂的并未体现多模态强调的多种模态间的互动 被广泛用于分析视觉模态元功能的视觉语法本身是基于西方的图像使用习惯而归纳提出的具有文化特殊性(二)基于语料库的研究路径多模态翻译研究领域尤其视听翻译和口译研究领域已经开始使用语料库的方法 基于语料库的翻译研究自 年代以来已经取得了很大成就但以往都是用于单模态文本或多模态文本中的某一种模态 目前利用语料库进行多模态翻译研究还面临较大困难要推动基于语料库的多模态翻译研究需要解决如何对齐多种模态、切分分析单位和开发兼顾多种模态的标注系统(三)语用学路径由于语用学的本质是研究包括但不限于语言的符号在使用中的意义所以语用学路径与多模态翻译研究的融合具有天然的基础 认为 的关联理论适用于分析多模态交际行为关联理论已成为多模态翻译研究领域应用最多的语用学理论其次是 的言语行为理论 认为将语用学用于研究多模态问题是多模态研究的关键她建立的多模态源文分析模式在国内外的多模态翻译研究领域产生了极大影响 国内学者从语用学视角对多模态翻译中的认知推理过程和意义构建进行了探索 将语用学理论用于多模态翻译研究既可以扩大语用学的应用范围又可以帮助解决多模态文本原文意义确定与译文生成过程中模态的选择问题五、结语经过二十几年的发展多模态视角下的翻译研究已覆盖翻译研究的各个领域热度持续不退 未来的多模态翻译研究应继续采取跨学科的研究方法发展适合翻译研究的多模态分析框架研究语言与非语言模态之间的互动如何生成意义如何在翻译中再现多模态意义 当今传媒科技迅速发展翻译实践者与研究者都需要具备多模态意识掌握识解与分析文字、图画、视听等多模态融合的文本的能力以满足向全世界“展示真实、全面、立体的中国”的需求参 考 文 献:./(.).:.:.(.).:./.(.).:.:.:.:.:():.吴赟.媒介转向下的多模态翻译研究.外国语():.:.:./(.).:./(.).:.李妙晴.多模态下的阳光灿烂的日子电影字幕翻译.电影文学():.张德禄.多模态话语分析综合理论框架探索.中国外语():.朱玲.昆剧翻译的多模态视角探索 以牡丹亭英译为例.苏州:苏州大学.张瑜.多模态话语分析视角下的川剧剧本英译 以川剧巴山秀才为例.四川戏剧():.李庆明刘曦.秦腔剧本英译的多模态化与意义重构 以杨门女将英译本为例.西安外国语大学学报():.蒋莉华李颖.翻译研究新动向:口述影像的多模态分析.外语教学():.鄢秀罗康特.新时代的翻译研究:口述影像理论与实践的重要性.东方翻译():.:.():.(.).:.:():.:.():.刘雪芹.论语英译语境化探索.上海:上海外国语大学.王建开.经典与当代的融合:中国文学作品英译的通俗形态.当代外语研究():.黄广哲朱琳.以蔡志忠典籍漫画孔子说在美国的译介谈符际翻译.上海翻译():.吴赟李伟.中国文化的视觉翻译:概念、议题与个案应用.华东师范大学学报(哲学社会科学版)():./.(.)().:.:./.(.):.:.:.():.:/.(.).:.刘剑胡开宝.多模态口译语料库的建设与应用研究.中国外语():.郎玥侯林平何元建.多模态输入对同传认知加工路径影响的库助认知研究.外国语():.蒋莉华李颖.翻译研究新动向:口述影像的多模态分析.外语教学():.张德禄王璐.多模态话语模态的协同及在外语教学中的体现.外语学刊():.高巍范波.科技英语翻译教学再思考:理论、途径和方法.外语电化教学():.王洪林.时代口译教学改革的进路:从单模态到多模态再到跨模态.翻译研究与教学():.:():./.(.)./:.:.:.【责任编辑 马 牛】