研究发现复杂的编码智能体框架成本更高但表现并未显著提升

一项新研究对 Claude Code、OpenCode 和 mini-SWE-agent 等三种编码智能体框架进行了测试，发现框架间的性能差异大多在统计噪声范围内，但由于系统提示词和工具描述的差异，不同框架的 token 成本可相差两到三倍。研究还指出，纯粹的重复运行就能带来多达六个点的波动，因此建议在基准测试对比中附上重复运行结果。