Selection-Based Structured Reasoning: 迈向高效的多模态搜索智能体

作者Feiyu Gavin Zhu†**, Xiaoyu Zhu, Jiqi Yang, Rui Yang‡***, Arnab Kumar Mondal, Yancheng Wang, Xinke Deng, Jean Oh†, Reid Simmons†, Joerg Liebelt, Xiang Kong, Zhongyu Jiang

多模态智能体通常在每次行动前生成自由形式的推理。对于小模型而言，有限的模型容量可能导致冗长的推理，这些推理对行动生成的有用指导甚微，同时还会带来巨大的推理成本。为了应对这一挑战，我们引入了基于选择的结构化推理（SSR），这是一种将推理重新构思为选择而非开放式生成的框架。SSR 将反复出现的高级推理表示为预先指定的、可重用的自然语言候选。在每一轮中，模型根据当前上下文下的似然度从推理候选集中进行选择，而无需辅助任务头。使用预先指定的推理轨迹可以进行并行评分，其中教师强制的预填充使用共享的上下文 KV 缓存，在候选内部和候选之间同时计算标记似然度。我们在 2B 和 4B 模型上对七个多模态搜索基准评估了 SSR。在多种强化学习目标和监督微调下，SSR 在不牺牲任务性能的情况下带来了显着的效率提升。SSR 实现了与同规模领先搜索agent具有竞争力的平均成功率，同时将每轮推理延迟降低了 90% 以上，每个问题的总模型推理延迟降低了 28–54%。

• † 卡耐基梅隆大学
• ‡ 伊利诺伊大学厄巴纳-香槟分校
• ** 部分工作在苹果公司完成
• *** 工作在苹果公司完成

相关阅读与更新。

大型语言模型可以表现出突发推理行为，通常表现为反复出现的词汇模式（例如，表示验证的“等等”）。然而，复杂的推理轨迹在无约束采样中仍然很稀疏，并且标准强化学习通常无法保证获得多样化的推理行为。我们提出通过结构化推理系统性地发现和强化多样化的推理模式，这种范式……

阅读更多

长思维链（CoT）显着增强了大语言模型（LLM）的推理能力。然而，大量的推理轨迹会导致效率低下和首字延迟（TTFT）增加。我们提出了一种新颖的训练范式，使用强化学习（RL）引导推理大语言模型在多跳问题中交织思考和回答。我们观察到模型本身具备执行交织……的能力

阅读更多