ChatGPT译文质量的评估与提升——以陶瓷类文本汉英翻译为例.pdf

第 卷 第 期 年 月山东陶瓷.收稿日期基金项目淄博市社会科学规划研究项目“功能语言学视角下三语对二语的反向迁移研究”()理论研究 码:./.译文质量的评估与提升 以陶瓷类文本汉英翻译为例王子云毛 毳(.山东理工大学外国语学院.通信作者山东理工大学外国语学院.)摘 要:以淄博陶瓷琉璃博物馆中英介绍文本为语料以 译文为研究对象比较该语言处理模型作为机器翻译工具与其他 种机器翻译软件的翻译性能和译文质量 采用 值和 值自动评估方法对译文质量进行综合评估结果显示 在陶瓷类文本汉英翻译中表现良好对比分析人工编写提示语和优化后自动生成的机翻提示语对译文质量的影响总结可在陶瓷类文本汉英翻译领域中应用的优秀提示语供译者在翻译实践中参考和使用 研究发现 优化后的自动生成提示语比传统的人工编写提示语更适用于陶瓷类文本英译译文质量更高可以为译后编辑提供更好的文本处理基础有效助力中华优秀传统文化对外传播关键词:陶瓷译文质量评估提示语()是美国人工智能创业公司 于 年 月公开发布的聊天机器人其以多轮对话的形式通过用户的提示引导进行内容创作 溯其根源其模型基础是最初专为机器翻译任务打造的 在此基础上进一步开发研究形成了 模型并先后经历了、等多代升级 基于 模型采用更大规模的训练数据和更深层的神经网络结构 横空出世它可以遵循特定的提示语()提供详细的反馈使得人机交互更加智能化和人性化 一经推出就引起了各行各业的强烈反响是人人可用、行行有用的信息助理作为机器学习大数据深耕的最新成果通过大数据纳入人类语境理解人类语言具有严密的语言逻辑和强大文本生成能力可作为辅助翻译任务的工具但其翻译质量如何有待探究陶瓷是中国传统文化的重要组成部分具有深厚的历史底蕴 淄博陶瓷根植于齐鲁大地深厚的文化底蕴之中不仅是淄博的重要名片也是中国瓷器史的一个缩影 陶瓷文化的对外传播对促进文化交流、推动产业发展、保护和传承陶瓷的制作技艺具有重要意义 因此以淄博陶瓷琉璃博物馆相关介绍文本为语料探讨如何提升 的翻译质量对陶瓷相关翻译工作者、研究者具有一定的价值本研究采用基于.版本的 模型以其对陶瓷类文本的汉英翻译为例通过与其他机器翻译软件译文的对比分析评估该模型的译文质量 同时测试不同提示语对译文质量的影响总结可以提升译文质量的优秀提示语使 成为陶瓷类文本翻译工作中更好的助手 研究设计本研 究 采 用 自 动 评 估 方 法 对 比 分 析 与其他 种机器翻译软件处理同一篇陶瓷文本的 值和 值判断 的翻译质量对比分析不同翻译提示语下输出的译文质量探究提示语对译文质量的影响并筛选能够提升译文质量的优秀提示语.研究问题本研究拟回答以下三个问题:第一作为机器翻译工具 输出的译文质量如何?第二不同的 提示语对译文质量是否有影响?第三何种翻译提示语可以较好地提升译文质量?.研究方法本研究采用机器翻译质量自动评估法和对比分析法 对于同一个问题 每次都能给出不同的回答不会千篇一律 因此为避免同一提示语输出结果的随机性本研究获取每一条提示语下的 次输出译文报告译文质量的平均值以确保测试结果的效度和信度.测试文本本研究的翻译测试文本选自淄博陶瓷琉璃博物馆“古齐厅”与“国窑厅”的中英文介绍共获取中文文本 个字符参考英文译文 个字符.机器翻译软件本研究将 与其他 种机器翻译软件进行比较其中包括 翻译、词典以及 翻译这 种机器翻译软件可分别支持、和 种语言之间的实时翻译 本研究所用数据均基于.版本的 数据收集时间截至 年 月 日.自动评估指标 值和 值是两种常见的机器翻译质量评估指标 ()由 于 年提出基于 模型比较机器译文中的 与参考译文中的 计算匹配的 数量占机器译文 总数量的比例用于评估机器译文的充分性和流畅性 是国际上机器自动翻译评价系统的流行指标数值越高表明译文质量越好()由 等于 年提出基于编辑距离模型通过统计机器译文修改为参考译文的后编辑次数来分析机器译文的质量用于评估机器译文中词汇和语法的错误率即词汇和语法的正确性 机器译文所需的后编辑次数越少译文质量就越高 两种指标用于评估机器译文的不同方面结合使用可以更全面、准确地评估机器译文质量的优劣 本研究选用“试译宝 译文测评工具”对译文的 值和 值进行计算.翻译提示语在 中提示语通常指输入的文本 译文质量的评估与提升 以陶瓷类文本汉英翻译为例段落或短语作为生成模型输出的起点或引导提示语可以是一个问题、一段文字描述、一段对话或一段任何形式的文本输入模型会基于提示语所提供的上下文和语义信息生成相应的输出文本 设置提示语就是设置与 的对话模式本研究在 中使用多个翻译提示语以获取多个译文进行比较其中包括 直接翻译提示语(用“”表示)添加术语限定的翻译提示语(用“术语”表示)添加“文本来源/语言风格/目标读者”等背景信息的翻译提示语(用“背景”表示)以上提示语见表 另外笔者将“术语”和“背景”条翻译提示语输入 进行优化分别获取 条机器翻译提示语以“、”和“、”表示 本文第 部分将对以上提示语的内容及译文质量进行详细介绍表 直接翻译提示语和“术语”“背景”提示语提示语名称内容 ():术语 :背景 /:研究结果与讨论.的翻译质量与传统的机器翻译软件直接呈现原始输入句子的翻译版本相比大型语言模型()需要应用特定的模板来格式化原始句子以生成译文 本文以“:”作为 直接翻译提示语获取直接翻译译文并与其它 种传统机器翻译软件的译文进行质量比较分别计算 和 数值结果如表 所示表 与其他机器翻译软件的译文质量指标单位:机器翻译软件.由表 可知在 指标上、和 译 文 的 数 值 均 高 于其中 数值最高其次是 和 而 数值最低 周成彬等指出使用 值对模型进行评估取得.的 值译文质量良好达到了机器翻译的效果 由此可知在译文的充分性和流畅性上 种机器翻译软件的翻译质量均为良好且 最为出众 在 指标上 和 译文的数值均高于 其次是 而 数值最低 这表明在词汇和语法的准确性上 译文表现最佳 次之 和 译文在该方面略有不足综上所述在陶瓷类文本的汉英翻译任务中除 译文在 指标上有明显优势之外 译文在充分性和流畅性及词汇和语法的准确性上与常用的这 种机器翻译软件数值相当译文质量总体较好 表明在该文山东陶瓷本翻译领域中基于.的 已经具备一定的竞争力可以和现有的机器翻译软件相媲美.翻译提示语对译文质量的影响分别获取“”“术语”“背景”以及“、”这 条提示语下的输出译文对其译文的 值和 值进行对比分析以探究不同翻译提示语对译文质量的影响结果如表 所示表 不同提示语下的 译文质量单位:提示语名称.术语.背景.由表 数据可知提示语对于机器翻译质量具有重要影响不同提示语所生成的译文质量存在较大差异 笔者对人工编写的提示语和 优化后自动生成的提示语条件下生成的译文质量进行分析有以下发现第一在人工编写的提示语下的译文质量相比于“”直接翻译提示语下的译文质量“术语”提示语下输出译文的 值略微下降 值也有所下降但“背景”提示语输出的译文 值提升了一个百分点且 值有所降低 由此可知当人工编写的提示语个体主观因素的干扰较强表述笼统或难以给出准确和具体的细节时会影响译文的翻译质量 增加具体化背景信息作为翻译提示语参数的优化方法可以取得较好的翻译效果 该方法可以为翻译模型提供更准确和具体的上下文信息从而更好地提升翻译质量为翻译实践提供更好的支持第二在 根据人工编写提示语自动生成的提示语中除 与 提示语下输出译文的 值稍高于直接翻译之外其他机器翻译提示语下输出的译文 值均高于 直接翻译译文且 值均有所降低值得注意的是与直接翻译译文相比 和 提示语下输出译文的 值均高出至少 个百分点 值均降低至少 个百分点 以上结果表明 根据要求自动生成的翻译提示语下的译文充分性和流畅性更好词汇和语法准确性更高 由此推断经过 优化后自动生成的提示语更符合机器的语言表达方式能够有效提高机器翻译的准确性从而提升机器翻译的整体质量综合以上分析可知人工编写提示语会由于表述主观性和笼统性等原因降低译文质量经过添加具体化内容的提示语可以提升译文质量但相比之下经过 优化后自动生成的提示语下产生的译文质量更好这表明自动生成的机器翻译提示语更有利于 输出高质量译文.提升译文质量的优秀提示语要获取机器翻译指令需要人工设定提示语与 开 启 对 话 笔 者 反 复 测 试 发 现“:”这一条提示语下的译文质量最好由此获取机器翻译提示语结果如表 所示 译文质量的评估与提升 以陶瓷类文本汉英翻译为例表 添加术语和背景的机器翻译提示语类别内容添加术语添加背景人工提示语 “”:“/”:生成提示语:/:/:/:由表、表 可知在两组机器翻译提示语中 和 提示语下所输出的译文 值提升最高 值降低最多 表明在添加术语和背景信息时分别采用 和 提示语形式来触发 的翻译性能所产生的译文质量更好此外在添加术语提示语的过程中笔者发现只有将术语以“源语(译语)”的形式输入它才能完全理解并按照提示语进行翻译这一结论可以通过 对译文提取术语进行对比验证为进一步评估优秀提示语的有效性笔者选用以下具体译文案例进行对比分析结果如表 和表 所示笔者选用了添加术语的三个机器提示语中的典型例句以说明提示语对翻译质量差异的影响 由表 可知原文中“明器”是指古代人们下葬时带入地下的随葬器物即“冥器”与“随葬用的陶制模型”所指相同 而 和 提示语下所输出译文均未能正确识别该词的含义将“明器”完全错译为“”和“”此外在原文“特别是随葬用的陶制模型各类陶塑形象生动的人俑、马俑、艺俑”中“各类陶塑”和“形象生动的人俑、马俑、艺俑”之间是上下义关系而非并列关系但 提示语下输出译文仅按照词语出现的先后顺序错译为并列关系 相比之下 提示语下输出译文虽规避了“明器”这个词的翻译但是“特别是随葬用的陶制模型各类陶塑形象生动的人俑、马俑、艺俑”的处理使语义更加清晰、完整并准确再现了原文的上下义关系结构大大提升了译文质量由表 可知相较于 和 提示语下输出的译文 提示语下输出的译文被动语态使用频率更高 汉语里的被动语态是借助词汇手段实现的由“被、由、为所、在中”构成的被动句一般表示较强的被动意义侧重于行为的表达英译时通常译为英语的被动句所以 和 提示语下输出的译文将“白瓷作为贡品为皇家所享用”译为英语被动语态更为合适 另外英语使用被动式常常是为了表示某种客观、间接、非人称的口气以迎合某些表达山东陶瓷表 添加术语的机器翻译提示语下的译文比较类别文本内容中文文本东汉时期日用陶器、明器、陶塑、建筑用砖瓦等新品迭出特别是随葬用的陶制模型各类陶塑形象生动的人俑、马俑、艺俑以及器型高大的楼阁、车马等产品的大量烧制成为制陶业的一大特点参考译文 .提示语下输出的译文 .提示语下输出的译文 .提示语下输出的译文 .表 添加背景的机器翻译提示语下的译文比较类别文本内容中文文本宋代白瓷作为贡品为皇家所享用明清时期在这里形成了以淄川、博山为代表的陶瓷生产基地和产品销售中心以寨里窑、磁村窑、博山窑为代表的淄博窑成为我国的古瓷名窑参考译文 .提示语下输出的译文 .提示语下输出的译文 .提示语下输出的译文 .译文质量的评估与提升 以陶瓷类文本汉英翻译为例的需要汉语往往不用被动式而用无主句、主语省略句、主语泛称句及其他句式 总之英语常用被动式汉语常用主动式 英汉互译就要句式转换 和 提示语下输出的译文根据上下文将原文无主句“在这里形成了以淄川、博山为代表的陶瓷生产基地和产品销售中心”增译了主语“”符合英语语法表达意义也正确但都采用了主动句式不符合英语多使用被动语态的特征未能重点突出“淄川”和“博山”这些重要信息与参考译文句式差异较大由以上分析可知 提示语下输出的译文更符合英语表达方式译文质量最好综上所述在陶瓷类文本汉译英任务中 自身优化的添加术语和背景信息的机器翻译提示语可以提升译文质量但提升指数不一其中添加术语的优秀机翻提示语为“:”并保证“”的输入形式为“()”添加背景信息的优秀机翻提示语为“:”且括号中的内容可根据实际需求进行更改 结语作为机器翻译工具 与其他 种机器翻译软件在本次陶瓷文本汉英翻译任务中的译文质量不相上下表明 已经在现有的机器翻译软件中具备一定的竞争力 同时相较于传统的人工编写提示语将人工编写的提示语输入 优化后自动生成提示语下产生的机器翻译译文质量更好表明 中自动化提示语生成技术可以提供更高的适应性和翻译效率 另外本文总结了 条能够较好提升译文质量的优秀机器翻译提示语供相关领域的译者参考使用陶瓷类文本翻译需要考虑众多专业术语和历史文化背景等因素的影响传统的陶瓷文本翻译需要耗费大量时间和精力对相关领域的译者和机构有较高要求和较大挑战性 凭借其强大数据库和深度学习能力针对这些文本特征可以快速实现译前资料查询及译后术语修正 同时本研究提出的提示语优化技术 “人工编写提示语 优化自动生成提示语 获取译文”可以使 输出更高质量的译文 译后编辑是翻译服务行业积极采取的翻译方式以更高质量的 译文作为其初始处理文本可以更好地提高译文质量和翻译效率实现人机交互优势最大化 这给相关博物馆、翻译研究所等带来了更高的翻译质量和更低的翻译成本 同时也要求该领域译者迅速转化角色持续提升自身陶瓷专业知识和翻译水平与使用提示语驾驭智能化工具的专业能力进而更好地传播陶瓷文化 此外面对 及其训练语言的强大冲击语言学者更应在翻译传播中确保语言传达的准确性与合理性维护汉语语言本真从而准确传播中华优秀传统文化综上所述在陶瓷类文本汉英翻译任务中 可以作为我们的有效助手从译前准备至译后编辑全面提升翻译质量和翻译效率 作为一种仍在快速开发的高智能问答机器人 各方面性能都在不断提升可以预见在未来的发展中 的翻译质量会越来越高 优化后的自动生成提示语技术也将发挥越来越重要的作用山东陶瓷参考文献 .():.李志民.本质分析及其对教育的影响.中国教育信息化():.王天恩.的特性、教育意义及其问题应对.思想理论教育():.怀康綦璇.淄博陶瓷研究综述.山东陶瓷():.刘禹良李鸿亮白翔等.浅析:历史沿革、应用现状及前景展望.中国图象图形学报():.:/.:.王金铨文秋芳.国内外机器自动评分系统评述:兼论对中国学生翻译自动评分系统的启示.外语界():./.:.:.乔博文李军辉.融合语义角色的神经机器翻译.计算机科学():.徐宿.的基本功:种 用法/.().:/./.周成彬刘忠宝.基于语义信息共享 的古文机器翻译方法.情报工程():.秦洪武王克非.英汉比较与翻译.北京:外语教学与研究出版社:.连淑能.英汉对比研究.北京:高等教育出版社:.(责任编辑:刘 丽)译文质量的评估与提升 以陶瓷类文本汉英翻译为例