阿里千问团队推出 BabelArena 基准,用于测试 LLM agent 工作流在不同语言下的工具调用与执行表现。该基准覆盖 23 种语言和约 1.6 万个任务实例,发现同一任务在低资源语言下可能导致高达 8 倍级的工具调用膨胀。研究表明,跨语言差距不仅体现在成功率上,还会对工具调用和控制流产生显著影响。
阿里千问最新研究:Agent 也会「巴别塔」!
团队发布一个新的 BabelArena 来测试:同一条 agent 工作流换语言后,工具调用、环境状态、检索与打分会不会一起走样,通关仍可能掩盖 8 倍级的工具调用膨胀。
论文:https://arxiv.org/abs/2609.23490
千问帖子里的例子
同一购物任务、同一模型(Qwen-3.8-Max),英语与泰卢固语(Telugu)都拿到同样四个商品、都算通过;但工具调用是 25 vs 201,泰卢固一侧对本地化目录反复空搜。作者的判断:即便 pass,上线前也该看见这条差距。
BabelArena / BabelFlow 是什么
· BabelArena:大规模多语言 LLM agent 基准,约 699 个规范任务 × 23 种语言 → 约 1.6 万 任务实例(论文/README 数字在 699–702、16077–16146 间有小幅表述差,以当日仓库与 arXiv 为准)。覆盖 13 个领域、15 种文字;语言分高/中/低资源三档(泰卢固在低资源列)。
· 四套源基准家族:VitaBench(交互服务)、DeepPlanning(长程规划)、τ³-Bench text(模拟用户 + 工具 + 政策)、ClawEval(编排 / 多模态 / 专业对话)。
· BabelFlow:通用适配流水线,沿运行时数据流找出可安全翻译的文本,在任务、工具描述、数据库、模拟用户与 grader 上保持结构一致,多层校验 + 人工复核后再接纳变体。重点是 component-complete localization,不是只翻 prompt。
论文里更广的发现
没有单一模型通吃四个家族;跨语言差距不止成功率。低资源语言更多是 tool-use / control-flow 类失败,而不仅是「答案质量差」;同任务输入 token 可到英语约 2×;结构化输出时语言一致性更差,切换几乎一边倒指向英语。
来源:meng shao · x.com