40TB训练数据！华为云做出预训练模型

智东西4月25日报道，今日，华为云推出盘古系列超大规模预训练模型，包括全球最大视觉（CV）预训练模型和全球最大中文语言（NLP）预训练模型。

全球最大视觉（CV）预训练模型包含30亿参数，首次兼顾了图像判别与生成能力，既能提升测试精度，又能平均节约90%以上研发成本。

全球最大中文语言（NLP）预训练模型由循环智能、鹏城实验室联合开发，包含千亿参数、40TB训练数据，刷新了CLUE三项榜单世界纪录。

后续，华为云还将陆续发布多模态、科学计算等超大预训练模型。

预训练大模型是解决AI应用开发定制化和碎片化的重要方法。华为云人工智能领域首席科学家、IEEE Fellow田奇称，华为云盘古大模型可以实现一个AI大模型在众多场景通用、泛化和规模化复制，减少对数据标注的依赖，并使用ModelArts平台，让AI开发由作坊式转变为工业化开发的新模式。

一、 最大中文语言预训练模型： 千亿参数、40TB训练数据

盘古NLP大模型是全球最大的千亿参数中文语言预训练模型，涉及千亿参数、40TB中文文本训练数据，对算法、算力、海量数据处理、并行优化都提出了很大挑战。

在算法方面，华为云的算法团队与循环智能（Recurrent AI）的NLP团队经过数月联合攻关，突破了大模型微调的难题。

在算力方面，鹏城实验室的国内最大规模AI训练集群鹏城云脑II，为盘古NLP大模型训练提供了强大的AI算力基础。

该模型通过在预训练阶段引入基于Prompt的任务等多项创新方案，经由行业数据的样本调优，提升模型在场景中的应用性能。
 

（编辑：焦作站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!