Saito· @SaitoWu · X·· 5 天前AI 评分65
AI 导读
个人开发者使用 AI 在十天内开发出 Strata 引擎，实现了在 12GB 显存设备上运行 1250 亿参数的 Qwen 3.8 Flash Next 模型。该方案通过将未上操作台的专家交由 CPU 在内存中计算，实现了极低显存下的超大模型运行。
正文 · 原文
1250 亿参数的模型，12GB 显存只动得了其中 2%。一个 token 在 24576 个专家里只用 10 个，没上操作台的交给 CPU 在内存里算。一个人用 Claude 和 Codex 写了十天，llama.cpp 求了一年的专家缓存，他两周就做出来了。 https://x.com/i/article/2112842174945689600
来源：Saito · x.com