MiniCPM-V 4.7 iPhone 推理提速至 20.51 tokens/s

OpenBMB· @OpenBMB · X·2026-10-27 16:16· 3 小时前AI 评分58

AI 导读

OpenBMB 转发并关注了 MiniCPM-V 4.7 在 iPhone 上的推理性能优化，其推理速度从 3.38 tokens/s 提升至 20.51 tokens/s。这展示了端侧推理优化如何为设备端 AI 提供强力支持。

正文 · 原文

Love this breakdown! 🔥 From 3.38 to 20.51 tokens/s on an iPhone — a great example of how inference optimizations can unlock powerful on-device AI.

Thanks for highlighting the engineering behind MiniCPM-V 4.7! 🚀💙

来源：OpenBMB · x.com