推理卡时是训练的12倍,decode 阶段一块卡只跑出5%算力:YC Paper Club 聊 DeepSeek 推理成本
中文摘要
DeepSeek推理成本为训练12倍,decode阶段MFU仅5%,瓶颈在显存带宽。
English Summary
DeepSeek inference costs 12x training; decoding MFU is 5% due to memory bandwidth.
原文节选
Saito 归纳 YC Paper Club 播客中四位推理从业者的讨论:DeepSeek 训练 V3 用了280万个 H800 卡时,推理每天烧4.3万个卡时,按两年模型寿命摊是训练的12倍,decode 阶段 MFU 仅5%,瓶颈在显存带宽而非算力。