返回首页
RadarAI··论文与技术

Sam Altman 谈本地推理的浪费

中文摘要

奥特曼称本地推理因利用率低而浪费资源,数据中心效率更高,但本地模型具备不可被弃用的自主优势。

English Summary

Sam Altman argues local inference wastes resources due to low utilization, preferring data centers for efficiency while noting local models' unique resistance to being deplatformed.

原文节选

Sam Altman 谈本地推理。 “从全球资源分配的角度看,让每个人、让世界上有限 DRAM 供应中的一大批都放在自己的电脑里、却只有 5% 的时间在用,这相当糟糕” 按每 token 算,数据中心轻松胜出。batch size 为 1 的本地模型按任何利用率指标看都是浪费,但它也是整个技术栈中唯一没人能对你弃用的部分。https://x.com/morqon/status/2115838856524120128/video/1