百度文心ERNIE开源四大预训练模型 助力AI工业大生产

2019年以来，基于深度神经网络的预训练技术在技术创新和工业应用上不断取得突破，但传统预训练技术上仍有一些痛点困扰着开发者：

仅考虑单一粒度语义建模，缺乏多粒度语义理解能力;

受限于 Transformer 结构的建模长度瓶颈，无法处理超长文本;

聚焦语言等单一模态，缺乏工业真实应用场景针对多个模态如语言、视觉、听觉信息的联合建模能力。

5月20日举办的2021深度学习开发者峰会WAVE SUMMIT上，依托飞桨核心框架，百度文心ERNIE最新开源四大预训练模型：多粒度语言知识增强模型 ERNIE-Gram、长文本理解模型 ERNIE-Doc、融合场景图知识的跨模态理解模型 ERNIE-ViL、语言与视觉一体的模型ERNIE-UNIMO。

针对传统预训练技术现存的难点痛点，此次文心ERNIE开源的四大预训练模型不仅在文本语义理解、长文本建模和跨模态理解三大领域取得突破，效果上超越谷歌、微软等业界模型，还拥有广泛的应用场景和前景，进一步助力产业智能化升级。