CMU 11-768: AI Agents 课程最新发布了一堂客座讲座

@ZhiruoW 主讲「AI Agents for Human Work」，侧重 future-of-work 与评测构建，把「榜上好看」和「真顶人类工作」拆开：任务与就业结构错位、人机协作榜与自动榜排名对不上、开环人类工作难用执行判分；能力之外还要协作模式、效率、安全与工作意义；未来不只是替代，还有增强、新任务与早期职业冲击。

讲义：https://www.cmu-agents.com/slides/2026-10-27-zora-wang.pdf

现实检验：能做什么、卡在哪
开场用 Anthropic 内部「更多人用 Agent 干活」、METR「长软件任务能力约每 7 个月翻倍」铺势头，随即泼冷水：
· 榜单高分、电脑操作演示流畅（如 GPT-6 Astra），但 Remote Labor Index 等显示真实远程活仍难。
· 自研 How Well Does AI Agents Reflect Real-World Work?（2026）：主流 Agent 评测过度集中在 Computer and Mathematical，大约只对应约 5% 就业。
· Humans Are Missing from AI Coding Agent Research + CollabSkill：自动榜与人机协作榜排名可对调（如 Claude Code / Gemini CLI / Codex 在两榜上的位次不同），「自己干」强 ≠ 「跟人一起干」强。
· 难嵌进人类工作流（引 MIT NANDA State of AI in Business 2025）；即便会用 Agent，也往往只覆盖工作的一小块。另问：自动化「公平量尺」与「想要的成功率」该怎么定（再引 METR）。

能力从哪来：环境 · 任务 · 评测（框架三件套）
1. 任务怎么来
· GDPval：雇平均约 14 年经验的业内人，覆盖贡献美 GDP 前九大板块的 44 岗、220 任务（相对 O*NET 上千岗仍是切片）。
· Remote Labor Index：O*NET 不够覆盖远程长尾；雇 358 名自由职业者，240 项目、覆盖 Upwork 23/64 类目。
· JobBench：对齐「人想做 / 不想做」（如润色立场文 vs 海量洗数）。
· OpenCUA：自动采集人类活动约 2.25 万 轨迹（Win/Mac/Ubuntu），非侵入但意图难还原、隐私敏感。
· 训练侧还可用 Agent 自探索合成（Bagel、NNetNav 等）。
核心批评引自 Bean 等：建构效度，分数在多大程度上支撑「测到了目标现象」。多数榜测的不是「要紧的事」。

2. 环境怎么建
手工部署开源替身（TheAgentCompany）→ 自动部署 + GDP 导向选型（Gym-Anything）→ 灌真实或合成数据（要真实、多样、难、带干扰）→ 文件/终端中心（Terminal-Bench）。瓶颈仍是：可用软件源有限、真实数据难拿到。

3. 评测怎么评
人类工作是光谱：可验证（修 GitHub issue）→ 半模糊（洗数分析）→ 很模糊（室内设计）；多数人类工作在开环端。执行判分盖不住语义质量 → 专家量规 + LLM-as-a-Judge（GDPval）；也可用 LM 生成量规（CollabSkill，需多面提示与人工校验）；训练侧有演化量规（DR Tulu）、交互信号转量规（Wang 等 test-time adaptation）。挑战：裁判自偏好与偏见、视觉判断差、完美量规难、评测贵且漂移（SWE-bench Verified「不再量前沿」之议）、静态榜污染与饱和（LiveCodeBench 路线）。

光有能力不够
· 人机多种交互模式（Future of Work with AI Agents 审计自动化 vs 增强）。
· 执行中可接管/纠偏（CowPilot）；训练 Agent 识别用户交互与自身自主度（Huq & Wang Modeling Distinct Human Interactions）。
· 多 Agent 冗余、低效（开源科研题、OpenAI 相关讨论作例）。
· 安全：静态安全榜不够，问题常要实证挖（OpenAgentSafety；良性输入也可诱发出严重 unintended 行为）。
· 意义：有人在问是否在自动化掉工作里的乐趣（Are We Automating the Joy Out of Work?）。

工作的未来
约 80% 美国劳动力至少 10% 任务可能受影响，写作与编程最吃紧，偏高收入岗暴露可能更大。但自动化 ≠ 整岗替代：人对约 46% 职业任务表达过自动化意愿，且存在「想自动化、AI 却发展不足」的缺口。工作集合不固定（Acemoglu & Restrepo：技术既挤出也创造新任务）。技能会贬值，人要适应；动机与判断更值钱；早期职业在高 AI 暴露岗位上可能更吃亏（Brynjolfsson 等 Canaries in the Coal Mine）。工作本身也是训练与学习的一部分，自动化会改学习路径。