跳到正文
公众号:面壁智能·· 6 天前AI 评分62

面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

AI 导读

面壁智能 MiniCPM-V 团队介绍了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,实现了 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码速度超过 20 token/s。

来源:公众号:面壁智能 · mp.weixin.qq.com