人工智能行业：机器翻译在跨境电商的应用与研究.pdf

机器翻译在跨境电商的应用与研究杨宝嵩 阿里巴巴 算法专家|01阿里翻译技术平台概览02翻译在跨境电商中的应用03最新技术探索目录CONTENT|01阿里翻译技术平台概览阿里翻译技术平台概览|5阿里翻译技术平台概览|论文&专利发表60+CCF A/B类会议/期刊论文100+项专利ACL2022 Outstanding Paper Award国际评测 WMT 21国际顶级机器翻译评测 Quality Estimation Task 9个语向第一 Metrics Task 5个语向第一 术语翻译任务 英中第一 2021年CommonGen文本生成大赛5月登顶LeaderBoard WMT 18国际顶级机器翻译评测 翻译任务 5语向第一奖项 工信部新一代人工智能重点任务揭榜计划、第一期人工智能产业创新“多语言智能翻译平台”揭榜优胜单位（仅3家）“面向全球电子商务的多语言处理技术与平台”获得浙江省科学技术进步二等奖6|02翻译在跨境电商中的应用翻译在跨境电商中的应用-商品内容展示|标题单位UI框架英语版俄语版阿语版8翻译在跨境电商中的应用-商品内容展示|尺码详情描述英语版俄语版阿语版9翻译在跨境电商中的应用-商品内容展示|评论英语版俄语版阿语版10翻译在跨境电商中的应用-商品内容展示|问大家英语版俄语版阿语版11翻译在跨境电商中的应用-更多的跨语言场景|买卖家沟通商品搜索12翻译在跨境电商中的应用-多模态场景|图片翻译13翻译在跨境电商中的应用-多模态场景|直播/视频翻译14|03最新技术探索最新技术探索|模型改进质量评估领域适应知识融合翻译连续语义增强（ICLR21、ACL22）UniTE（ACL 22）领域适配器（NeurIPS20、EMNLP 20、TASLP 21）KNN-MT（ACL 21、EMNLP 21、ACL 22）多粒度表示迁移（ACL 21）个性化个性化机器翻译（ACL21，ACL22，NAACL22）16模型改进：连续语义增强(ACL 22 Outstanding Paper)|问题：回译等离散表示数据增强方法，数据多样性差、利用效率低，且易产生语义偏移解决方法：连续语义空间扩充训练样本的数据分布，结合邻域风险最小化策略优化翻译模型17质量评估：融合不同类型的标注数据的UniTE（ACL22）|问题：三种评估场景(原文,译文)、(译文,参考译文)、(原文,译文,参考答案)采用的技术、语料均不相同，标注资源不能得到充分利用解决方法：基于区块化Attention掩码的模型结构，利用跨语言预训练和多任务联合训练，实现不同类型标注资源的知识迁移WMT21 Metrics比赛第一单一模型（WMT 2019 所有语向）超越三个评估场景的SOTA模型18领域适应：轻量训练的Adapter（NeurIPS 20，EMNLP20，TASLP 21）|问题：训练好的翻译模型如何快速迁移至新领域？Finetuning有灾难性遗忘问题，需要调整全部参数，部署代价大解法：引入Adapter，固定训练好模型的参数，仅调整Adapter参数以适配新领域Self-AttentionFeed ForwardAdaptive LayerAdaptive LayerEmbedding MSelf-AttentionCross-AttentionAdaptive LayerDecoder OutputEmbedding NFeed ForwardXYUp ProjectionReLUDown ProjectionTransformer特点：不影响译训练好模型的性能部署代价小，每个领域仅增加Adaper参数中英 BLEU领域内领域外均值Baseline35.2848.8742.08Baseline+Finetune36.9849.0543.02Baseline+Adapter45.4743.7244.6019领域适应：无需训练的 KNN-MT(ACL 21,EMNLP 21，AAAI 22,ACL 22)|问题：finetuning、Adapter都需要训练，应用代价大，能否在不训练情况下，实现领域适配？解决方法：寻找最相似句子，利用译文动态干预解码过程自动学习k与lambda关系领域适应ITKoranLawBase22.9910.1633.36Base+KNN-MT27.4718.4439.23Adapter36.2825.9849.07Adapter+kNN-MT38.7329.0152.14特点：无需训练，仅需更新新领域的索引20领域适应：子词知识迁移(ACL 21)|问题：不同分词粒度的模型如何进行知识迁移？解决方法：引入Embedding Generator根据字词与父词组合，使用一个Embedding生成器来迁移词表Embedding Generator的训练：在上游任务中，模型将随机拆分长单词并组合短单词，使用Embedding Generator生成这些未见过token的embedding，过程中受到上游任务目标和蒸馏目标监督。21个性化翻译：用户行为引导的机器翻译（ACL 21）|问题：语言具有多样性，好的翻译应该拟合说话人的表达习惯，以及知识水平单一翻译结果可能只能满足大多数用户，不能满足每个用户的需求解法：个性化翻译根据tf-idf分数提取用户历史关键词，使用编码器建模用户表征。提出对比学习策略，拉近相似用户译文，推远不相似用户译文，实现半监督训练，解决数据稀疏，缺少用户标注样本的问题。模型准确性（BLEU）翻译差异性传统翻译27.520.00%个性化翻译32.3531.68%22个性化翻译：无监督多样性翻译（NAACL 22）|问题：语言具有多样性，然而现有单reference训练使得模型趋向于生成相近的表达，个性化翻译也需要翻译能够产生更多样的表达为前提。解法：多样性翻译，模型训练过程中多个生成结果定义Diversity Rewards以及 Quality Rewards，使用最小风险训练进行优化。特点：简单、易复用、不需要修改模型架构。原文原文依依 巴拉巴拉 告诉告诉 今日今日 新闻新闻 电视台电视台 说说,这是这是 一一 个个 恐怖恐怖 夜晚夜晚 普通模型Ibarra told today s news television station,This is a terrorist evening.Ibarra told today s news television station,This is a terrible evening.Ibarra told today s news television stationthat This is a terrorist evening.多样性模型This is a terrible night according to Ibarra told todays news TV station.Ibarra told todays news television station,“This is a terrible night.”Speaking to news TV today,Ibarra said,This is a terrible night.”23个性化翻译：用户行为引导的语种识别（ACL 22）问题：语种识别是翻译的第一步，面临用户输入不规范（拼写错误，语序不严格）以及多语言歧义（品牌词、同形异义词）的挑战解法：无监督个性化语种识别利用用户信息（历史语种分布、国家属性）等信息辅助分类无监督训练：由于没有标注数据，根据用户A的语种历史分布从通用数据中采样，以构造用户A的特征的训练数据|24参考文献ACL2022Learning to generalize to More:Continuous Semantic Augmentation for Neural Machine TranslationACL2022UniTE:Unified Translation EvaluationACL2022Unsupervised Preference-Aware Language IdentificationACL2022Efficient Cluster-based k-Nearest-Neighbor Machine TranslationNAACL2022Bridging the Gap between Training and Inference:Multi-Candidate Optimization for Diverse Neural Machine TranslationAAAI2022Non-Parametric Online Learning from Human Feedback for Neural Machine TranslationACL2021Towards User-Driven Neural Machine TranslationACL2021Bridging Subword Gaps in Pretrain-Finetune Paradigm for Natural Language GenerationACL2021Adaptive Nearest Neighbor Machine TranslationICLR2021On learning universal representations across languagesEMNLP2021Non-Parametric Unsupervised Domain Adaptation for Neural Machine TranslationNeurIPS2020Incorporating BERT into Parallel Sequence Decoding with AdaptersIEEE-TASLP2021Adaptive Adapter:an Efficient Way to Incorporate BERT into Neural Machine Translation更多交流：yangbaosong.ybsATalibaba-|25非常感谢您的观看|26