Cerebras万亿模型这样跑

Cerebras 公开了万亿参数模型的上机办法：以开源的 3T 参数 Kimi K3 为例，4 比特量化后每层约 16GB，69 层线性注意力层每片晶圆放两层、24 层 dense 层每片放一层留 KV 缓存，总共 59 片 WSE-3T 晶圆流水线串起来，能跑到每秒 1000–2000+ token。关键是权重不动、只有激活在晶圆间流动，单跳约 2 微秒。

来源：https://www.cerebras.ai/blog/how ... -models-on-cerebras