2026-09-01 — views
エージェント型データクラッキングによる非構造化データ推論のトークンコスト削減
読む理由 エンタープライズAIチームは高額なトークン請求に直面しています。このアプローチは推論のオーバーヘッドを再利用可能なインフラストラクチャに変えます。
新しい手法は推論中に非構造化データを適応的に構造化し、クエリコストを53%削減します。
非構造化推論のコスト
貴重なデータは、Webページ、レポート、契約書、提出書類、決算説明会、PDFなどの非構造化ソースに埋め込まれたままです。エンタープライズAIにおける主要な賭けは、このデータに対して推論を行い、ナレッジワーカーの複雑な質問に答える大規模言語モデル（LLM）エージェントの展開です。現在のエージェントはこのタスクを実行できますが、コストは prohibitive（非常に高額）です。各質問は、散在する証拠を回収するために大規模なドキュメントを繰り返し開く必要があり、このプロセスは最大100万トークンを消費することがあります。データがすでに構造化されていれば、同じ質問は安価なデータベース検索に縮小されます。FanOutQAベンチマークにおいて、理想的な事前構造化ストアに対する推論は28倍安くなります。質問がより多くのドキュメントに扇状に広がるにつれて、この差は桁違いに大きくなります。
適応的かつ投機的な構造化
すべてのデータを事前に構造化することは実行可能ではありません。ドキュメントには、ワークロードが使用するよりもはるかに多くの可能性のある構造が含まれているためです。さらに、有用な構造とドキュメントは、クエリが到着するまで不明です。これに対処するため、研究者はエージェント型データクラッキングを提案しています。この手法は、推論そのものの副産物として、非構造化データを適応的かつ投機的に構造化します。このプロセスが適応的であるのは、観察されたクエリが構造化がいつ行われるか、そして何が重要かを決定するためです。投機的であるのは、現在の質問を超えた範囲に及ぶためです。エージェントがクエリに答えるためにドキュメントを開くたびに、クラッキングサブエージェントは、すでに読み込まれたコンテキストから限界コストでフォークされます。このサブエージェントは、関連する将来のクエリに役立つ可能性のある根拠のある構造を抽出します。
パフォーマンスとインフラストラクチャへの影響
時間の経過とともに、構造化データによって完全にカバーされるクエリの割合が増加します。これらのクエリは、ドキュメントを開くことなく回答され、エージェントの精度は検索拡張生成（RAG）のコストに近いまま保たれます。FanOutQAベンチマークにおいて、テスト質問ごとに1つの関連質問が追加された場合、クラッキングは精度を維持しながらコストを53%削減します。このアプローチは、非構造化データに対するエージェント型推論のための次世代データインフラストラクチャへの第一歩を表しています。これは、モデルの下に共有基盤を作成し、推論がすでに発見するために支払った知識が蓄積されるようにします。
実装ノート
開発者は、高頻度のドキュメントアクセスポイントを特定するために、トークン消費パターンを監視する必要があります。初期のドキュメント読み込み中に構造を抽出するサブエージェントを実装することで、回答の品質を犠牲にすることなく、長期的な推論コストを削減できます。