CS 329Z: Engineering AI Agents
Stanford / Fall 2026 @stanfordnlp
https://cs329z.stanford.edu

来到了第 10 课「Evaluating Agents — Terminal-Bench and Harbor」， @alexgshaw @ryan_marten 来分享Terminal-Bench 与 Harbor 怎么把 Agent 当成可迭代工程。
https://web.stanford.edu/class/cs329z/slides/lecture10.pdf

软件世界正从「规则是真相」（手写代码）转向「评测是真相」（agent 靠 eval 开发、软件再由 agent 生成）。Terminal-Bench 用终端任务把这套做成可跑的社区基准；Harbor 把同一套任务格式与基础设施产品化，让你自己造百万级 eval，不是只消费某一个榜。

从演绎到归纳：为什么 Evaluator 成了新角色
讲义先用软件史铺垫：机器码 → 汇编 → 高级语言（Hoare：程序性质原则上可从文本演绎出来）→ ML 的「输入+输出 → 规则」→ LLM → Agents。Shannon 的「真能思考、学习、操纵环境」那句话被用来收束：数字技术开发整体在变归纳。三层递进：模型从数据学；agent 靠评测养；软件由 agent 生成。于是 Specifier 仍是软件工程师，但 Evaluator 成为缺失的工种；规格的落点从「写规则」变成「写 evaluation」。

Terminal-Bench：bash 当「万能工具」的基准
核心洞察：终端里几乎什么都能干（对比一长串 AWS CLI）。社区数字（讲义页）：64 张 model card、171 贡献者、1k+ GitHub 参与、5k+ Discord、7M+ 次 benchmark run；首 commit 约 2025-01，Claude Code 约 2025-02 发布，时间线对应 coding agent 爆发与终端基准同窗。

任务解剖示例：把 /app/schematic.png 的 2D 示意图变成 /app/out.step，verifier 不是「看起来像」，而是一串几何断言（合法 STEP、水密、体积/表面积/惯性矩/凸包/拓扑/平均曲率等）。结构拆成：INSTRUCTION.MD + ENVIRONMENT/DOCKERFILE + TEST/…。

共用词汇（任务怎么长什么样）
Task / Trial / Benchmark / Verifier(Grader) / Trajectory(Trace) / Evaluation harness / Agent harness。任务目录约定为 agent 无关、易定义、可移植：
instruction.md · task.toml · environment/Dockerfile · solution/solve.sh · tests/test.sh

写任务要问：你在测什么、测对了吗？三条硬约束：指令与 verifier 对齐、防 reward hacking、真实/公平/有趣。指令要充分指定，同时尽量短、尽量像真人说话。环境尽量贴近 prod：真软件/多容器优于 mock；「开放世界/联网」有 tradeoff；能 bake 进镜像的网络依赖就 bake，减 flakiness。Verifier 是对环境状态的 outcome 分类器：看混淆矩阵；与 instruction 需求 1–1；程序化检查 + LLM judge 并用。

Reward hacking 与隔离
Agent 环境锁定、verifier 环境隔离、agent 代码执行隔离；产物从 agent env 交到 verifier env 再跑测试，避免 agent 改测试或摸到打分器。Oracle solution/ 用来调试 verifier/环境，动作应像 agent 会走的路径，忌 hardcoded 捷径。

Infra、QA、版本、结果
Eval infra：容错、可复现、可并行、本地/云 sandbox 可移植；rollout 覆盖 test/train/prod。Task QA：任务会以很微妙的方式坏掉；静态检查 + agentic 检查（agent judge、oracle agent、frontier agents、cheat agents，并对轨迹做 judge）。CI/CD 视角：任务就是软件，软件有 bug，用量带来 bug 报告、flakiness、infra 噪声、新模型新行为、假阴性、reward hacking；http://tbench.ai 上有版本与 issue 流。

版本语义（讲义三列）很实用：
· 主版本 (x+1)：改 agent 环境 → 整测重跑（新任务、欠/过指定 prompt、数据工具、资源）
· 次版本 (y+1)：改 verifier → 可 regrade（过严、清 hack、调 judge、减 flakiness、改奖励）
· 补丁 (z+1)：元数据 → 可 reuse（文档、钉依赖、修笔误、oracle 偶发）
结果要求：每一行都有完整收据，每 trial 的轨迹、日志、产物、奖励。