跳到正文
Jim Fan· @DrJimFan · X·· 2 小时前精选AI 评分79
AI 导读

Jim Fan 推出了 VFlash,这是一种用于 Physical AI 的视觉模型,通过并行解析视觉世界来实现更快的动作解码。该模型在边缘 GPU 上实现了最高 12 倍的动作解码加速和 5.1 倍的整体机器人推理加速,同时将 3D 轨迹误差降低了最高 61%,目前已开源并公开论文。

推荐理由

该项目通过并行解析视觉世界提升了具身智能的推理速度与精度,为了解端侧机器人规划提供了新的技术路径。

正文 · AI 翻译

System One 视觉模型时代已经来临!隆重推出 VFlash:以无与伦比的速度并行解析视觉世界,赋能具身智能(Physical AI)。

大多数具身预测任务(如目标定位、机器人轨迹规划和密集 3D 运动)都是固定长度的浮点向量。例如,边界框永远是 6 个 token,10 个航路点的机械臂轨迹则是 54 个:这些我们预先已知。我们无需逐个 token 解码,而是可以一次性输出整个几何形状。

在 Jetson Thor 和 DGX Spark 等边缘 GPU 上,VFlash 将动作解码速度提升高达 12 倍,整体机器人推理速度提升 5.1 倍。令人惊奇的是,它的准确率甚至超过了 VLM 主干网络,3D 轨迹误差降低了高达 61%。其直觉在于,VFlash 避免了自回归解码的级联错误——在自回归中,每个坐标都一落定就无法更改,后面的每个点都失去了退格修正的机会。

所有会移动的东西都将实现自主化,而所有自主化的东西都需要在自己的芯片上思考。下一场推理革命是以反射速度进行的物理推理。

一如既往,论文与代码全部开源!链接在回复中:

来源:Jim Fan · x.com