量子位· 一水·· 5 小时前精选AI 评分86
港科大与 CMU 等开源 EdgeRock-4B 模型,KV Cache 减少超 99% 且吞吐提至 6 倍
KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型
AI 导读
港科大、CMU 与岩山科技旗下岩芯矩阵联合发布并开源 EdgeRock-4B 模型,采用全新的岩锚记忆机制(RMA),在 256K 上下文下将 KV Cache 占用固定在 72MiB 并减少 99.1%。单卡在 32K 输入输出下可同时跑 512 路并发,输出吞吐达 12124 tokens/s,同时基本保留了源模型的推理和多模态能力。
推荐理由
原文给出了新模型的架构设计和吞吐测试结果,读者可以据此评估其在长推理场景下的显存占用表现。
来源:量子位 · qbitai.com