2026-09-01 — views
智能体数据裂解降低非结构化数据推理的令牌成本
为什么值得读 企业AI团队面临高昂的令牌账单。该方法将推理开销转化为可复用的基础设施。
一种新方法在推理过程中自适应地对非结构化数据进行结构化处理，从而将查询成本降低53%。
非结构化推理的成本
有价值的数据仍然嵌入在网页、报告、合同、备案文件、财报电话会议和PDF等非结构化来源中。企业AI的主要押注是部署大型语言模型智能体，使其基于这些数据推理，以回答知识工作者的复杂问题。虽然当前的智能体能够执行此任务，但成本令人望而却步。每个问题通常都需要反复打开大型文档以恢复分散的证据，这一过程可能消耗多达一百万个令牌。如果数据已经结构化，同样的问题将简化为廉价的数据库查询。在FanOutQA基准测试中，基于理想预结构化存储进行推理的成本低28倍。随着问题在更多文档上发散，这一差距扩大到数量级。
自适应与推测性结构化
预先对所有数据进行结构化是不可行的，因为文档包含的可能结构远远超过任何工作负载所使用的范围。此外，在查询到达之前，有用的结构和文档是未知的。为了解决这个问题，研究人员提出了智能体数据裂解。该方法作为推理本身的副产品，自适应且推测性地对非结构化数据进行结构化处理。该过程是自适应的，因为观察到的查询决定了结构化的时机和重要性。它是推测性的，因为它超越了当前的问题。每当智能体打开文档以回答查询时，一个裂解子智能体会以边际成本从已加载的上下文中分叉。该子智能体提取可能服务于相关未来查询的有据可依的结构。
性能与基础设施影响
随着时间的推移，越来越多的查询完全由结构化数据覆盖。这些查询无需打开文档即可回答，从而将智能体准确率保持在接近检索增强生成（RAG）的成本水平。在FanOutQA基准测试中，仅将每个测试问题扩展为一个相关问题，裂解方法在保持准确率的同时将成本降低了53%。这种方法代表了迈向下一代非结构化数据智能体推理数据基础设施的第一步。它在模型下方创建了一个共享基底，其中推理已经付费发现的知识得以积累。
实务笔记
开发人员应监控令牌消耗模式，以识别高频文档访问点。在初始文档加载期间实现提取结构的子智能体，可以在不牺牲答案质量的情况下降低长期推理成本。