Cerebras 发布 WSE-3：采用 5nm 工艺，4 万亿个晶体管，900,000 个 AI 内核

　　Cerebras 宣布推出晶圆级引擎 3 (WSE-3)，它被誉为世界上最大的单个半导体器件，其尺寸几乎相当于 12 英寸硅晶圆。这项技术奇迹专为训练业界最庞大的 AI 模型而设计，在相同的功耗和成本下提供当前最快的 AI 芯片 WSE-2 的两倍性能。WSE-3 将部署在 Cerebras CS-3 AI 超级计算机中，利用 2048 个节点提供高达 256 exaFLOP 的计算能力。

　　WSE-3 的主要规格包括：

　　• 4万亿个晶体管

　　• 900,000 个 AI 核心

　　• 125 petaflops 的峰值 AI 性能

　　• 4 个 4GB 片上 SRAM

　　• 5nm台积电制程

　　• 外部存储器：1.5TB、12TB 或 1.2PB

　　• 训练多达 24 万亿个参数的 AI 模型

　　• 最多 2048 个 CS-3 系统的集群大小

　　Cerebras 表示，WSE-3 旨在满足企业的需求和大规模需求，旨在训练比 GPT-4 和 Gemini 大十倍的下一代尖端模型。具有 24 万亿个参数的模型可以容纳在单个逻辑内存空间中，无需分区或重构，从而大大简化了训练工作流程并提高了开发人员的效率。

　　最新的 Cerebras 软件框架为 PyTorch 2.0 和最新的 AI 模型和技术提供原生支持，例如多模态模型、视觉转换器、专家混合和扩散等。它仍然是为动态和非结构化稀疏性提供原生硬件加速的唯一平台，有可能将训练速度提高八倍。