2026-10-04 — views
ThinkingBox 通过数据库状态基准测试 AI 代理的一致性
为什么值得读 AI 代理常能通过工具调用检查，却无法正确更新数据库。此基准测试揭示了成功 API 调用与实际数据一致性之间的差距。
微软与 Hugging Face 联合发布 ThinkingBox，该基准测试针对 507 个工作流，依据终端后端状态及副作用对 AI 代理进行评分。
工具调用与结果之间的差距
微软和 Hugging Face 近期联合发布了一篇博客，介绍了 ThinkingBox，这是一个基于代理留下的记录而非生成的文本来评估 AI 代理的基准测试。该系统对代理在 507 个有状态业务流程中的终端后端状态和副作用进行评分。每个任务针对各种大型语言模型 (LLM) 执行 20 次，以测试一致性。
作者强调了一种关键的故障模式：代理执行了九次有效的工具调用，正确检查了跟踪信息，并将工单标记为已解决，却未能更新数据库中的承运商异常状态。虽然检查工具调用的 AI 评分器会看到九个格式良好的操作，但检查数据库的评分器会发现所需的状态从未达成。ThinkingBox 衡量的正是这种差异。
可靠性与能力
在涵盖 12 个 LLM 模型共 121,680 次有效试验的常见集消融实验中，有 79,853 次尝试未能通过可执行检查。值得注意的是，其中 67.24% 的失败尝试仍干净终止，调用了状态改变工具，且未报告最终工具错误。可执行检查发现这些失败中有 77.61% 存在错误的字段值，43.30% 存在意外的额外效果，25.36% 缺少必需的效果。
该基准测试报告了三个指标：pass@1，衡量单次尝试的成功率；pass@20，衡量在 20 次尝试中至少成功解决一次任务的情况；以及 Breadth, Observed 20/20，统计在所有 20 次记录尝试中均通过的任务数。这种方法揭示了“一次成功并不等于可靠”。如果一个代理一次正确退款，但四次处理不当，它就不是一个可用的代理。
模型性能与一致性
Claude Opus 5.5 以 67.16% 的 pass@1 总分领先，紧随其后的是 Claude Opus 5，总分为 66.50%。在开源权重模型中，Kimi-K3 表现最强，总体达到 57.37%。然而，一致性差异巨大。Kimi-K3 至少一次解决了 93.89% 的任务，但仅在 13.41% 的任务中在全部 20 次尝试中成功。相比之下，Claude Opus 5 初始解决的任务较少，但在每次尝试中都能完成基准测试的 47.53%。
Claude Opus 5.5 在 headline 准确率上高于 Opus 5，但在所有 20 次尝试中通过的任务数量相同（241 个）。这表明准确率的半分之差并未带来额外的可靠性。GPT-6 Astra 在重复尝试中保持了其单次尝试率的 78%，而 GLM-5.1 和 DeepSeek-V4-Pro 等模型仅保留了约 8%。
实务笔记
开发人员在选择用于触及真实记录的生产环境的模型时，应优先考虑 Observed 20/20 指标，而非单次尝试得分。依赖仅发布 pass@1 的排行榜可能导致部署那些在有状态工作流中看似有能力但持续失败的代理。