世界最大芯片创造里程碑，Cerebras在单芯片中训练200亿参数AI模型

世界上最大的加速器芯片CS-2 Wafer Scale Engine背后的公司 Cerebras刚刚宣布了一个里程碑：在单个设备中训练世界上最大的 NLP（自然语言处理）人工智能模型。虽然这本身可能意味着很多事情（例如，如果之前最大的模型是在智能手表中训练的，那么打破记录就不会太多），但由 Cerebras 训练的 AI 模型上升到了惊人的，也是前所未有的200亿参数。更重要的是，所有这些都无需跨多个加速器扩展工作负载，这足以适应互联网的最新潮流，图像来自文本的生成器，OpenAI 的 120 亿参数 DALL-E.

Cerebras 成就中最重要的一点是基础设施和软件复杂性要求的降低。诚然，单个 CS-2 系统本身就类似于超级计算机。Wafer Scale Engine-2——顾名思义，蚀刻在单个 7 nm 晶圆上，通常足以容纳数百个主流芯片——具有惊人的 2.6 万亿个 7 nm 晶体管，将850,000 个内核和 40 GB 集成缓存封装在一个大约 15kW功率的芯片中。

在单个芯片中保留多达 200 亿个参数的 NLP 模型显著降低了数千个 GPU 的训练成本（以及相关的硬件和扩展要求），同时消除了在它们之间划分模型的技术困难。Cerebras 说这是“NLP 工作负载中最痛苦的方面之一”，有时“需要几个月才能完成”。

这是一个定制的问题，不仅对每个正在处理的神经网络、每个 GPU 的规格以及将它们联系在一起的网络都是独一无二的——这些元素必须在第一次训练开始之前提前解决。而且它不能跨系统移植。

纯粹的数字可能会让 Cerebras 的成就看起来平淡无奇——OpenAI 的 GPT-3 是一种 NLP 模型，可以编写有时可能会欺骗人类读者的整篇文章，具有惊人的 1750 亿个参数。DeepMind 的 Gopher 于去年年底推出，将这个数字提高到 2800 亿。Google Brain 的大脑甚至宣布训练一个超过万亿参数的模型 Switch Transformer。

“在 NLP 中，更大的模型被证明更准确。但传统上，只有极少数公司拥有必要的资源和专业知识来完成分解这些大型模型并将它们分散到数百或数千个图形处理单元进行训练的艰苦工作，”Cerebras 首席执行官兼联合创始人 Andrew Feldman 说。“因此，只有极少数公司可以训练大型 NLP 模型——而且这对于行业的其他人来说太昂贵、太耗时且无法使用。

“今天，我们很自豪宣布，我们能够普及 GPT-3XL 1.3B、GPT-J 6B、GPT-3 13B 和 GPT-NeoX 20B，使整个 AI 生态系统能够在几分钟内建立大型模型并在单个 CS-2 上训练它们。” Andrew Feldman。

然而，就像世界上最好的 CPU的时钟速度一样，参数的数量只是一个可能的性能指标。最近，行业参与者在用更少的参数实现更好的结果方面也已经做了一些工作——例如，Chinchilla仅用 700 亿个参数就获得优于 GPT-3 和 Gopher 得表现。需要强调的是，我们做的所有工作的目标是使设备能够更聪明地工作，而不是更努力地工作。因此，Cerebras 的成就比乍看起来更重要——即使该公司确实表示其系统有可能支持“数千亿甚至数万亿”的模型，研究人员也一定能够拟合越来越复杂的模型和参数”。

可用参数数量的爆炸式增长利用了Cerebras 的权重流技术，该技术可以将计算和内存占用量解耦，允许将内存扩展到存储 AI 工作负载中快速增加的参数数量所需的任何数量。这使得设置时间从几个月减少到几分钟，并且可以通过几次按键，轻松地在 GPT-J 和 GPT-Neo 等型号之间切换。

“Cerebras 能够以具有成本效益、易于访问的方式将大型语言模型带给大众，这为人工智能开辟了一个激动人心的新时代。Intersect360 Research 首席研究官 Dan Olds 说：“看到 CS-2 客户在海量数据集上训练 GPT-3 和 GPT-J 类模型时所做的新应用和发现将会很有趣。”