评估集本身要养

公开基准的现行形态多半是暴露问题后逐轮修补的结果：难度分层防过时、参数化与金丝雀防泄漏、生产轨迹回流防脱节。评估集是活资产，不是一次性交付物。

做一个高质量评估集非常困难，难得超出多数团队的第一版预算。公开基准的现行形态，多数是初版投入使用、暴露问题之后逐轮修补的结果 ai-agent-book-7。评估体系的可信度上限就是评估集的可信度上限——它自己却是常被忘记维护的那个组件。

τ²-bench：五处推倒重来

从 τ-bench 到 τ²-bench，重设计的每一处都对应一种「被钻空子」的方式 ai-agent-book-7：任务指令太笼统，模型凭常识推测就能通过——于是把剧本拆成 known_info（用户知悉范围）与 task_instructions（透露方式）两栏，用户不知悉的信息只能查、不能猜；成功条件不精确，「网络已恢复」无从核实——改成「测速结果为 excellent 才算解决，poor、fair、good 均不接受」，专治压制症状的敷衍性修复；用户模拟器太机械——补上情绪（修复失败会不满）、耐心上限和事实锚定；只有 Agent 能改变环境——telecom 领域引入双控，用户在自己设备上改动状态后，Agent 必须重新调用工具才能得知，验证于是覆盖「它是否真的读到了用户侧的操作结果」；静态实例易被背题——具体参数（姓名、号码、故障组合）改为批量生成。五处没有一处是功能，全是在保卫「分数等于能力」这个等式。

发布之后：OSWorld 的 300 多个问题

OSWorld 2024 年 4 月发布后迅速成为多模态 Agent 评估的重要基准，随后在广泛使用中暴露出 300 余个问题，分四类：环境问题（网站反爬、CAPTCHA、动态内容变化）、任务描述歧义、验证逻辑过严或过松、初始状态配置不完整。维护方组建约 10 人小组，与多家模型公司深度合作两个月系统性修复 ai-agent-book-7。注意这不是事故，是常态：评估集面对的是活的软件和活的分布，静态集必然腐烂。你的自建集不会比公开基准更抗腐蚀，只会更快——因为它的使用强度更高、修的人更少。

难度分层与防泄漏

防过时靠难度分层。GAIA 全套 466 题分三级：Level 1 只需一两个工具（人类 93.9%，GPT-4 30.3%），Level 2 要多步思考（91.8% 对 9.7%），Level 3 要复杂组合（87.3% 对 0%）；分层还带诊断价值——一级失败指向基础工具使用，二级指向多步规划，三级指向长序列管理，改进方向各不相同 ai-agent-book-7。防泄漏有三种可做的手法：GAIA 要求答案必须组合多个信息源、部分任务配互联网上不存在的自制附件；AndroidWorld 用参数化模板从单个任务派生近乎无限实例，固定一部分参数就能精确测量单因素的影响；Terminal-Bench 在题面嵌入 canary GUID——它不阻止泄漏，但让泄漏可被检测 ai-agent-book-7。还有陷阱任务：用户声称「客服已批准取消」但实际不符合政策，专测压力与误导下能不能维持正确判断。

三个来源，主次会换

评估集通常三个来源，各管各的事：公开基准用于粗筛模型与借鉴设计手法，一般不用于产品决策——GAIA 上提升两个百分点与退款成功率之间没有必然关系；自建业务集覆盖真实任务分布，是选型和 Harness 决策的依据；生产轨迹回流来自线上真实失败——用户纠正、点踩、事后检查发现的问题，经归因沉淀为回归用例，成本最高、准确性也最高 ai-agent-book-7。三个来源的主次会随时间翻转：起步只有公开基准和少量手写集，运行一段时间后回流用例会成为主体。这正是 让验证速度追上生成速度 说的策展劳动的持续投入，也是 先定义完成，再写第一行代码 的判据能长期可信的前提——「评估集就是一次性构造的静态集合」这句话的否定式，值得刻在评测负责人桌上：今天线上暴露的失败模式，明天要成为守住底线的回归用例 ai-agent-book-7。