Artificial Analysis 发布 Coding Agent Index v2.0,引入 FrontierCode v1.1 并升级评测标准,当前由 Claude Code + Opus 5.5 以 61.7 分领跑。榜单综合三套基准,前四名中 Claude 相关组合占三席,首个 OpenAI 组合 Codex + GPT-6 Astra 位列榜单前列。
Coding Agent 榜单升级到 v2.0:FrontierCode 入场,Claude Opus 5.5 以 61.7 领跑
@ArtificialAnlys 发布 Coding Agent Index v2.0:用 @cognition 的 FrontierCode v1.1 替换 DeepSWE,并收紧仓库问答评分。榜单评的是「模型 + harness」组合,不是裸模型;当前第一是 Claude Code + Claude Opus 5.5(max)61.7。
https://artificialanalysis.ai/agents/coding-agents
榜单评什么
三套基准等权平均,共 290 题,每题跑 3 次再取均值:
· FrontierCode v1.1(Cognition):100 题,测试在真实开源仓库改代码,按「维护者会不会合」打分
· Terminal-Bench 4.0:66 题,测试终端里的多步 agent 任务
· SWE-Atlas-QnA-AA(Scale AI 题 + AA 改判):124 题,测试读仓库、答技术问题
相对 v1.5 的两处改动
1. FrontierCode 换下 DeepSWE。 题集不公开。失败任一 blocking 检查 → 0 分;全过 → 70%–100%(看 non-blocking)。轨迹若被扫到去拉上游解(PR、merge commit、镜像等)→ 也记 0。
2. SWE-Atlas-QnA → SWE-Atlas-QnA-AA。 124 题不变;重写了 1,306 条 rubric 里的 127 条;裁判改为 GPT-6 Luna(xhigh),每条准则投 5 票;数据集与裁判配置已发到 Hugging Face。
# 关键结果
综合指数前四:
· Claude Code + Opus 5.5(max)61.7
· Claude Code + Sonnet 5.5(max)59.3
· Muse Code + Muse Wonder Full(max)58.9
· Claude Code + Fable 5.1(max + fallback)57.6
前四相差仅约 4.1 分,其中三席是 Claude Code。首个 OpenAI 组合是 Codex + GPT-6 Astra,54.7。
FrontierCode 单项(Opus 拉开差距处):
· Opus 5.5:56.0%
· Codex + DeepSeek V4.1 Flash:52.6%
· Codex + GPT-6.1 Sol:49.4%
· Codex + GPT-6 Astra:49.3%
其余 24 个配置里有 15 个挤在 43%–49%
仓库问答(SWE-Atlas-QnA-AA)前几名:
· Muse Wonder Full:68.8%
· Claude Fable 5.1:66.4%
· Opus 5.5:65.9%
· Sonnet 5.5:64.2%
同一批 21 个配置在新旧 Index 上对比:均值从 54.8 → 47.4,20/21 下降;主因是 FrontierCode 均值约 45.1%,远低于 DeepSWE 的 65.6%;问答侧均值再掉约 1.7 分(58.8% → 57.1%)。Terminal-Bench 4.0 这轮没换。
成本前沿(按 token API 计,非订阅价)
· Codex + DeepSeek V4.1 Flash:47.3,$0.39
· Codex + GPT-6.1 Sol:54.1,$1.50
· Codex + GPT-6 Astra:54.7,$7.04
· Claude Code + Opus 5.5:61.7,$11.42
第一名大约是最便宜前沿点的 29 倍 单价,多约 14.4 分。
来源:meng shao · x.com