2026-10-04 — views
ThinkingBox 透過資料庫狀態評估 AI 代理程式的一致性
為什麼值得讀 AI 代理程式常能通過工具呼叫檢查，卻無法正確更新資料庫。此基準測試揭示了 API 呼叫成功與實際資料一致性之間的落差。
Microsoft 與 Hugging Face 發布 ThinkingBox，針對 507 個工作流的終端後端狀態與副作用，對 AI 代理程式進行評分。
工具呼叫與結果之間的落差
Microsoft 與 Hugging Face 近期聯合發布了一篇部落格文章，介紹了 ThinkingBox，這是一個根據代理程式留下的記錄而非生成的文句來評估 AI 代理程式的基準測試。該系統針對 507 個有狀態的商業工作流，對代理程式的終端後端狀態與副作用進行評分。每個任務會針對各種大型語言模型 (LLM) 執行 20 次，以測試一致性。
作者強調了一種關鍵的失敗模式：代理程式執行了九次有效的工具呼叫，正確檢查了追蹤狀態，並將工單標記為已解決，卻未能更新資料庫中的承運人異常狀態。雖然檢查工具呼叫的 AI 評分器會看到九個結構良好的動作，但檢查資料庫的評分器會發現所需的終端狀態從未達成。ThinkingBox 衡量的正是這種差異。
可靠性與能力
在涵蓋 12 個 LLM 模型共 121,680 次有效試驗的常見集消融實驗中，有 79,853 次嘗試未能通過可執行檢查。值得注意的是，這些失敗中有 67.24% 仍順利終止、調用了改變狀態的工具，且未報告最終工具錯誤。可執行檢查發現，在這些失敗中，有 77.61% 存在錯誤的欄位值，43.30% 存在非預期的額外效應，25.36% 缺少所需的效應。
該基準測試報告了三個指標：pass@1，衡量單次嘗試的成功率；pass@20，衡量在 20 次嘗試中至少成功解決一次的任務；以及 Observed 20/20，計算在所有 20 次記錄的嘗試中都通過的任務數量。這種方法揭示了「一次成功不等於可靠」。一個代理程式如果正確處理一次退款，卻錯誤處理四次，就不能算是正常運作的代理程式。
模型表現與一致性
Claude Opus 5.5 以 67.16% 的整體 pass@1 分數領先，緊隨其後的是 Claude Opus 5，分數為 66.50%。在開源權重模型中，Kimi-K3 表現最強，整體達到 57.37%。然而，一致性差異巨大。Kimi-K3 至少一次解決了 93.89% 的任務，但僅在 13.41% 的任務中在全部 20 次嘗試中成功。相比之下，Claude Opus 5 雖然初始解決的任務較少，但在每次嘗試中都完成了基準測試的 47.53%。
Claude Opus 5.5 在 headline accuracy 上的分數高於 Opus 5，但在所有 20 次嘗試中都通過的任務數量卻完全相同（241 個）。這表明準確率增加半點並未帶來額外的可靠性。GPT-6 Astra 在重複嘗試中保留了 78% 的單次嘗試成功率，而像 GLM-5.1 和 DeepSeek-V4-Pro 這樣的模型僅保留了約 8%。
實戰筆記
開發人員在為接觸實際記錄的生產環境選擇模型時，應優先考慮 Observed 20/20 指標，而非單次嘗試分數。僅發布 pass@1 的排行榜可能會導致部署出看似有能力，但在有狀態工作流中卻持續失敗的代理程式。