2026-09-01 — views
에이전틱 데이터 크래킹으로 비정형 데이터 추론의 토큰 비용 절감
읽어야 하는 이유 엔터프라이즈 AI 팀은 막대한 토큰 비용에 직면합니다. 이 접근법은 추론 오버헤드를 재사용 가능한 인프라로 전환합니다.
새로운 방법은 추론 중 비정형 데이터를 적응적으로 구조화하여 쿼리 비용을 53% 절감합니다.
비정형 추론의 비용
유가치한 데이터는 웹 페이지, 보고서, 계약서, 제출 서류, 실적 발표, PDF와 같은 비정형 소스에 여전히 내장되어 있습니다. 엔터프라이즈 AI의 주요 전략은 지식 근로자를 위한 복잡한 질문에 답하기 위해 이러한 데이터를 추론하는 대규모 언어 모델 에이전트를 배포하는 것입니다. 현재 에이전트는 이 작업을 수행할 수 있지만, 비용은 감당하기 어렵습니다. 각 질문은 흩어진 증거를 복구하기 위해 대형 문서를 반복적으로 열어야 하며, 이 과정은 최대 100만 개의 토큰을 소모할 수 있습니다. 데이터가 이미 구조화되어 있었다면, 동일한 질문은 저렴한 데이터베이스 조회로 줄어들었을 것입니다. FanOutQA 벤치마크에서 이상적인 사전 구조화된 저장소에 대한 추론은 28배 저렴합니다. 질문이 더 많은 문서로 분산될수록 이 격차는 수 배로 커집니다.
적응적 및 추측적 구조화
사전적으로 모든 데이터를 구조화하는 것은 실행 가능하지 않습니다. 문서는 어떤 워크로드가 사용할 것인 것보다 훨씬 더 많은 가능한 구조를 가지고 있기 때문입니다. 또한, 쿼리가 도착할 때까지 유용한 구조와 문서가 무엇인지 알 수 없습니다. 이를 해결하기 위해 연구자들은 에이전틱 데이터 크래킹을 제안합니다. 이 방법은 추론 자체의 부산물로서 비정형 데이터를 적응적이고 추측적으로 구조화합니다. 이 과정은 관찰된 쿼리가 구조화가 언제 그리고 무엇이 중요한지 결정하기 때문에 적응적입니다. 또한 현재 질문을 넘어가기 때문에 추측적입니다. 에이전트가 쿼리에 답하기 위해 문서를 열 때마다, 크래킹 서브에이전트가 이미 로드된 컨텍스트에서 경미한 비용으로 포크됩니다. 이 서브에이전트는 관련된 미래 쿼리에 유용할 가능성이 높은 근거 기반 구조를 추출합니다.
성능 및 인프라 함의
시간이 지남에 따라, 쿼리의 점점 더 큰 부분이 구조화된 데이터에 의해 완전히 커버됩니다. 이러한 쿼리는 문서를 열지 않고도 답변되며, 에이전틱 정확도를 검색 증강 생성(RAG) 비용에 근접하게 유지합니다. FanOutQA 벤치마크에서 각 테스트 질문당 단 하나의 관련 질문만 확장된 경우, 크래킹은 정확도를 유지하면서 비용을 53% 절감합니다. 이 접근법은 비정형 데이터에 대한 에이전틱 추론을 위한 차세대 데이터 인프라로의 첫 걸음을 의미합니다. 이는 모델 아래에 추론이 이미 비용을 지불하여 발견한 지식이 축적되는 공유 기질을 생성합니다.
실무자 노트
개발자는 고빈도 문서 접근 지점을 식별하기 위해 토큰 소비 패턴을 모니터링해야 합니다. 초기 문서 로드 시 구조를 추출하는 서브에이전트를 구현하면 답변 품질을 희생하지 않고 장기적인 추론 비용을 줄일 수 있습니다.