由微软亚洲研究院与雷德蒙研究院的研究人员组成的团队宣布,研发的机器翻译系统在通用新闻报导测试集 newstest2017 的中翻英测试集,达到可与人工翻译媲美的水准。这是第一个在新闻报导的翻译品质和准确率上可以比肩人工翻译的翻译系统。
|
/news/2018/03/16/1331239470S.jpg |
newstest2017 新闻报导测试集由产业界和学术界的合作夥伴共同开发,并於去年秋天在 WMT17 大会发表。为了确保翻译结果准确且达到人类的翻译水准,微软研究团队邀请了双语语言顾问将微软的翻译结果与两个独立的人工翻译结果进行了比较评估。
机器翻译是科研人员攻坚了数十年的研究领域,曾经很多人都认为机器翻译根本不可能达到人类翻译的水准。虽然此次突破意义非凡,但研究人员也提醒大家,这并不代表人类已经完全解决了机器翻译的问题,只能说明我们离终极目标又更近了一步。
当一种语言对(比如中━英)拥有较多的训练资料,且测试集中包含的是常见的大众类新闻词汇时,那麽在人工智慧技术的加持下机器翻译系统的表现可以与人类媲美。
跨时区跨领域合作,四大技术为创新加持
虽然学术界和产业界的科研人员致力於机器翻译研究很多年,但近两年深度神经网路的使用让机器翻译的表现取得了很多实质性突破,翻译结果相较於以往的统计机器翻译结果更加自然流畅。为了能够取得中━英翻译的里程碑式突破,来自微软亚洲研究院和雷德蒙研究院的三个研究组,进行了跨越中美时区、跨越研究领域的联合创新。
其中,微软亚洲研究院机器学习组将他们的最新研究成果━━对偶学习(Dual Learning)和推敲网路(Deliberation Networks)应用在此次取得突破的机器翻译系统。对偶学习利用的是人工智慧任务的天然对称性。当我们将其应用在机器翻译时,效果就好像是通过自动校对来进行学习━━当我们把训练集中的一个中文句子翻译成英文之後,系统会将相应的英文结果再翻译回中文,并与原始的中文句子进行比对,进而从这个比对结果中学习有用的回??资讯,对机器翻译模型进行修正。
而推敲网路则类似於人们写文章时不断推敲、修改的过程。透过多轮翻译,不断地检查、改善翻译结果,从而使翻译的品质大幅提升。对偶学习和推敲网路的工作发表在 NIPS、ICML、AAAI、IJCAI 等人工智慧的全球顶级会议,并且已被其他学者推广到机器翻译以外的研究领域。
自然语言计算组基於之前的研究积累,在此次的系统模型中增加了另外两项新技术:联合训练(Joint Training)和一致性规范(Agreement Regularization),以提高翻译的准确性。联合训练可以理解为用反覆运算的方式去改进翻译系统,用中英翻译的句子对去补充反向翻译系统的训练资料集,同样的过程也可以反向进行。一致性规范则让翻译可以从左到右进行,也可以从右到左进行,最终让两个过程生成一致的翻译结果。
可以说,两个研究组分别将各自所在领域的累积与最新发现应用在此次的机器翻译系统中,从不同角度切入,让翻译品质大幅提升。在专案合作过程中,他们每周都会与雷德蒙总部的团队开会讨论,确保技术可以无缝融合,系统可以快速反覆运算。
newstest2017 新闻报导测试集包括约 2 千个句子,由专业人员从线上报纸样本翻译而来。微软团队对测试集进行了多轮评估,每次评估会随机挑选数百个句子翻译。为了验证微软的机器翻译是否与人类的翻译同样出色,微软没有停留在测试集本身的要求,而是从外部聘请了一群双语语言顾问,将微软的翻译结果与人工翻译比较。
验证过程之复杂也从另一个侧面展现了机器翻译要做到准确所面临的复杂性。对於语音辨识等其它人工智慧任务来说,判断系统的表现是否可与人类媲美相当简单,因为理想结果对人和机器来说完全相同,研究人员也将这种任务称为模式识别任务。
然而,机器翻译却是另一种类型的人工智慧任务,即使是两位专业的翻译人员对於完全相同的句子也会有略微不同的翻译,而且两个人的翻译都不是错的。那是因为表达同一个句子的「正确的」方法不止一种。
一方面,由於存在特殊的对偶结构,两个任务可以互相提供回??资讯,而这些回??资讯可以用来训练深度学习模型。也就是说,即便没有人为标注的资料,有了对偶结构也可以做深度学习。另一方面,两个对偶任务可以互相充当对方的环境,这样就不必与真实的环境做交互,两个对偶任务之间的交互就可以产生有效的回??信号。因此,充分地利用对偶结构,就有??解决深度学习和增强学习的瓶颈━━训练资料从哪里来、与环境的交互怎麽持续进行等问题。
叁考:科技新报
图:CNET