Amazon 发布开源工具 Turnstile 以优化智能体强化学习训练

强化学习 (RL) 是我们用来提升语言模型在持续性、多步骤任务（如编写代码、浏览网站或执行研究工作流）中表现的技术之一。在这些场景中，模型并非独立运行；它被封装在一个我们称为“工具包”（harness）的软件中，该软件允许模型调用工具、观察使用结果并决定下一步操作。为了通过 RL 改进此类模型，我们让它在工具包内尝试多项任务，对每次尝试的效果进行评分，并利用该分数引导模型的参数向有效的选择靠拢。事实证明，最困难的部分在于记录工作。为了将一次评分后的尝试转化为参数更新，训练器需要模型所产生内容的精确记录——而不是摘要，也不是那种看起来捕捉了完整交流过程但却丢失了关键信息的转录文本。在内部，模型将文本视为一系列被称为 token 的编号单元；一个英文句子可能有 10 或 20 个 token，每个 token 都由一个名为分词器（tokenizer）的软件分配一个整数 ID。在转录文本中看起来完全相同的两个字符串，在格式发生微小变化后可能会映射到不同的 token ID，而这种差异（无论多小）都足以导致训练器针对与模型实际经历的过去略有不同的历史进行优化。今天，我们发布了 Turnstile，这是一个用 Rust 编程语言编写的小型代理，位于任何智能体工具包和运行模型的后端系统之间。Turnstile 在历史记录唯一准确的时间点——生成的那一刻——记录下每次请求的精确 token 级历史。然后，它导出一个通用的、与框架无关的轨迹，可以输入到你现有的任何 RL 训练堆栈中。我们使用 Turnstile 来驱动真实的 RL 训练运行。在我们在此报告的验证中，两个不同的智能体——一个纯文本编码智能体和一个多模态计算机使用智能体——在它们的 RL 运行过程中稳步提升。在这两种情况下，智能体工具包都保持不变，Turnstile 记录的数据直接流入训练堆栈，并端到端地产生了预期的学习信号。