2026-10-04 — views
ThinkingBox: データベース状態によるAIエージェントの一貫性ベンチマーク
読む理由 AIエージェントはツール呼び出しのチェックは通過しても、データベースの更新に失敗することが多い。このベンチマークは、成功したAPI呼び出しと実際のデータ整合性の間のギャップを明らかにする。
MicrosoftとHugging Faceは、507のワークフローにおけるターミナルバックエンドの状態と副作用を評価するThinkingBoxベンチマークを公開した。
ツール呼び出しと結果の間のギャップ
MicrosoftとHugging Faceによる最近の共同ブログ記事では、生成された文章ではなく、残された記録に基づいてAIエージェントを評価するベンチマーク「ThinkingBox」が紹介されています。このシステムは、507のステートフルなビジネスワークフロー全体におけるターミナルバックエンドの状態と副作用に基づいてエージェントを採点します。各タスクは、一貫性をテストするために、さまざまな大規模言語モデル（LLM）に対して20回実行されます。
著者は、エージェントが9回の有効なツール呼び出しを行い、追跡を正しく確認し、チケットを解決済みとして閉じたにもかかわらず、データベース内のキャリア例外ステータスを更新しなかったという重要な失敗モードを強調しています。ツール呼び出しをチェックするAI採点者であれば9つの整形式のアクションを目にするでしょうが、データベースをチェックする採点者であれば、必要な最終状態が達成されなかったことを確認することになります。この不一致こそが、ThinkingBoxが測定するものです。
信頼性 versus 能力
12のLLMモデルにわたる121,680回の有効な試行をカバーする共通セットのアブレーションでは、79,853回の試行が実行可能チェックに失敗しました。注目すべきは、これらの失敗の67.24%がクリーンに終了し、状態を変更するツールを呼び出し、最終的なツールのエラーを報告しなかったことです。実行可能チェックでは、これらの失敗の77.61%でフィールド値が間違っており、43.30%で意図しない追加的な効果があり、25.36%で必要な効果が不足していました。
ベンチマークでは、1回の試行での成功度を測定するpass@1、20回の試行で少なくとも1回タスクが解決されるかどうかを測定するpass@20、そして記録された20回の試行すべてを通過したタスクをカウントするBreadth、Observed 20/20という3つの指標が報告されています。このアプローチは、1回の成功が信頼性を意味しないことを示しています。1回だけ正しくリファンドを処理したが、4回は誤って処理するエージェントは、機能するエージェントではありません。
モデルのパフォーマンスと一貫性
Claude Opus 5.5は、全体のpass@1スコアで67.16%を記録し首位に立ち、Claude Opus 5が66.50%でこれに続きます。オープンウェイトモデルの中では、Kimi-K3が最も強く、全体で57.37%を達成しています。しかし、一貫性は大きく異なります。Kimi-K3はタスクの93.89%を少なくとも1回は解決しますが、20回の試行すべてで成功するのはタスクの13.41%のみです。対照的に、Claude Opus 5は当初解決するタスクは少ないものの、すべての試行でベンチマークの47.53%を完了します。
Claude Opus 5.5はOpus 5よりも見かけの精度スコアが高いですが、20回の試行すべてで正確に同じ数のタスク（241件）をパスします。これは、精度が0.5ポイント向上しても、追加の信頼性は得られなかったことを示しています。GPT-6 Astraは、繰り返し試行において1回あたりの成功率の78%を維持していますが、GLM-5.1やDeepSeek-V4-Proのようなモデルは約8%しか維持していません。
実装ノート
開発者は、実際のレコードにアクセスする本番環境でモデルを選択する際、1回あたりのスコアよりもObserved 20/20指標を優先すべきです。pass@1のみを公開するリーダーボードに依存すると、一見能力があるように見えても、ステートフルなワークフローで一貫して失敗するエージェントがデプロイされる可能性があります。