热点事件持续更新

Sam Altman 称本地运行模型存在资源浪费

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

OpenAI 负责人 Sam Altman 表示，从全局资源配置来看，让每个人把大量全球有限的 DRAM 存放在个人电脑中却只发挥 5% 的利用率是相当糟糕的。 Altman 称，按每个 token 计算，数据中心在效率上赢得轻而易举，从任何利用率指标来看，批大小为 1 的本地模型都是一种浪费。

AI 根据报道生成 · 2 小时前更新

最新进展10月30日 07:24

沿着报道，了解事件的不同侧面。

10月30日

07:24
Rohan Paul
Sam Altman 谈本地推理与数据中心
Sam Altman 谈本地推理。 “从全局资源配置的角度来看，让每个人把大量全球有限的 DRAM 存放在自己的电脑里，却只发挥 5% 的利用率，这是相当糟糕的” 按每个 token 计算，数据中心赢得轻而易举。从任何利用率指标来看，批大小为 1 的本地模型都是一种浪费，而且这也是技术栈中唯一没有人能为你废弃的部分。 https://x.com/morqon/status/2115838856524120128/video/1

还没有足够的连续观测数据，暂不绘制趋势。