2026-09-01 — views
代理式數據裂解降低非結構化數據推理的代幣成本
為什麼值得讀 企業 AI 團隊面臨昂貴的代幣帳單。此方法將推理開銷轉化為可重用的基礎設施。
一種新方法在推理期間適配性地對非結構化數據進行結構化，將查詢成本降低百分之五十三。
非結構化推理的成本
有價值的數據仍嵌於非結構化來源中，例如網頁、報告、合約、檔案、財報電話會議及 PDF。企業 AI 的主要押注是部署大型語言模型代理，對這些數據進行推理，以回答知識工作者的複雜問題。雖然目前的代理能執行此任務，但成本令人望而卻步。每個問題往往需要反覆開啟大型文件以恢復分散的證據，此過程可能消耗高達一百萬個代幣。如果數據已結構化，同一問題將簡化為廉價的資料庫查詢。在 FanOutQA 基準測試中，對理想預結構化儲存庫進行推理的成本低 28 倍。隨著問題涵蓋更多文件，此差距將擴大至數個數量級。
適配性與投機性結構化
預先結構化所有數據並不可行，因為文件包含的潛在結構遠超任何工作負載所能使用。此外，有用的結構和文件在查詢到達前是未知的。為解決此問題，研究人員提出代理式數據裂解（agentic data cracking）。此方法將非結構化數據的結構化作為推理本身的副產品，適配性地進行投機性處理。該過程是適配性的，因為觀察到的查詢決定何時進行結構化以及什麼重要。它是投機性的，因為它超越了當前問題。每當代理開啟文件以回答查詢時，裂解子代理會從已載入的上下文中分叉，僅產生邊際成本。此子代理提取基於事實的結構，以服務相關的未來查詢。
效能與基礎設施影響
隨著時間推移，越來越多的查詢完全由結構化數據覆蓋。這些查詢無需開啟文件即可回答，使代理的準確性保持在接近檢索增強生成（RAG）的成本水平。在 FanOutQA 基準測試中，僅為每個測試問題增加一個相關問題，裂解即可在保持準確性的同時將成本降低百分之五十三。此方法代表了邁向下一代數據基礎設施的第一步，用於對非結構化數據進行代理式推理。它在模型下方建立了一個共享基底，讓推理已付費揭露的知識得以累積。
實戰筆記
開發人員應監控代幣消耗模式，以識別高頻的文件存取點。在初始文件載入期間實施提取結構的子代理，可在不犧牲答案品質的情況下降低長期推理成本。