Dongxi 东锡 NLP· @dongxi_nlp · X·· 7 天前AI 评分67
AI 导读
Meta 发布面向端侧 Agent 的开源权重模型 Muse Glimmer 30B 技术报告，部分指标超过 Qwen3.6-27B 和 Gemma4-31B。该模型通过 4-bit 量化压缩至约 17GB，目标在 24GB 显存设备上运行，并采用 DFlash 推测解码在 RTX 5090 上实现约 233 tokens/s 的速度。
正文 · 原文
Meta 正在把具备较强自主执行能力的 AI Agent，从云端大模型压缩到可以在个人电脑上持续运行的 Muse Glimmer 30B。
部分指标超过 Qwen3.6-27B 和 Gemma4-31B。
通过 4-bit 量化，将模型压缩到约 17GB，目标是在 24GB 显存设备上运行。
采用 DFlash 推测解码，在 RTX 5090 上实现约 233 tokens/s，相比普通解码提速约 3.1 倍。
Meta 最近牛逼克拉斯！
来源：Dongxi 东锡 NLP · x.com