Facebook开源新AI语言模型，“可对100种语言实现一对一翻译”

根据《siliconangle》消息：Facebook表示其利用AI技术在不依赖英语数据的情况下翻译任意两种语言的尝试，已经取得了实质性进展。Facebook正在开源一种名为M2M-100的新AI语言模型，该模型可以在100种语言中的任何一对之间进行翻译。

据称，以前的多语言模型严重依赖英语作为中介，例如，中文译成法文的步骤通常是从中文译成英文，然后再从英文译成法文。在大多数情况下，这种模型都可以很好地工作，但是在涉及更复杂的句子和短语时通常不准确。

Facebook表示，M2M-100可以直接从中文翻译成法语，或者在100多种语言对之间进行翻译，从而更好地保留含义，而无需使用英语作为中介。

在这么多不同的语言对之间进行翻译不是一件容易的事，因为模型需要访问海量的高质量训练数据。Facebook人工智能研究员Angela Fan在一篇博客文章中解释了她和她的团队如何着手创建一个庞大的“多对多”数据集，其中包含100多种不同语言的超过75亿个句子。

这些数据根据诸如语言分类、地理和文化相似性等参数分为14种不同的语言组。然后，在每个语言组中，Facebook为每个语言标识一到三种“过渡语言”，作为将其翻译成不同语言的基础。

M2M-100模型比Facebook当前使用的以英语为中心的多语言模型准确度更高。该公司声称，M2M -100在评估机器翻译的BLEU度量标准上比之前模型高出“10分”。

Facebook最终希望用M2M-100替换之前的翻译模型，以提高其翻译质量。（钉科技根据《siliconangle》消息编译）