Saito· @SaitoWu · X·· 3 小时前AI 评分61
AI 导读
YC Paper Club 探讨了 DeepSeek 推理成本，指出其推理卡时达到训练的 12 倍，且 decode 阶段单卡算力利用率仅为 5%，主要瓶颈在于显存带宽。
正文 · 原文
训练 V3 花了 280 万个 H800 卡时，推理一年烧掉一千五百多万个，是训练的六倍，按两年模型寿命摊是 12 倍。更狠的是 decode 阶段，一块卡只跑出 5% 的算力，瓶颈不在算力，在显存带宽。 https://x.com/i/article/2114651658743681024
来源：Saito · x.com