2026-10-04 — views
ThinkingBox, 데이터베이스 상태를 통해 AI 에이전트 일관성 벤치마킹
읽어야 하는 이유 AI 에이전트는 도구 호출 테스트는 통과하지만 데이터베이스를 올바르게 업데이트하지 못하는 경우가 많습니다. 이 벤치마크는 성공적인 API 호출과 실제 데이터 일관성 사이의 격차를 드러냅니다.
마이크로소프트와 허깅페이스가 507개 워크플로우의 터미널 백엔드 상태 및 부작용을 평가하는 ThinkingBox 벤치마크를 공개했습니다.
도구 호출과 결과 사이의 격차
마이크로소프트와 허깅페이스의 최근 공동 블로그는 AI 에이전트가 생성하는 문장이 아니라 남긴 기록을 기반으로 평가하는 ThinkingBox 벤치마크를 소개합니다. 이 시스템은 507개의 상태 유지 비즈니스 워크플로우에서 터미널 백엔드 상태 및 부작용을 기준으로 에이전트를 채점합니다. 각 작업은 다양한 대규모 언어 모델(LLM) 모델에 대해 일관성을 테스트하기 위해 20회 실행됩니다.
저자들은 에이전트가 9개의 유효한 도구 호출을 수행하고 추적 상태를 올바르게 확인하며 티켓을 해결로 닫았음에도 불구하고 데이터베이스의 운송사 예외 상태를 업데이트하지 않는 중요한 실패 모드를 강조합니다. 도구 호출을 확인하는 AI 채점자는 9개의 잘 구성된 작업을 보지만, 데이터베이스를 확인하는 채점자는 필요한 최종 상태가 달성되지 않았음을 봅니다. 이것이 ThinkingBox가 측정하는 불일치입니다.
신뢰성 versus 능력
12개의 LLM 모델에 걸쳐 121,680개의 유효한 시도 전체를 아우르는 공통 집합 아블레이션에서 79,853번의 시도가 실행 가능 검사를 통과하지 못했습니다. 주목할 만한 점은 이 실패의 67.24%가 여전히 깨끗하게 종료되고 상태 변경 도구를 호출하며 최종 도구 오류를 보고하지 않았다는 것입니다. 실행 가능 검사는 이러한 실패의 77.61%에서 잘못된 필드 값을, 43.30%에서 의도하지 않은 추가 효과를, 25.36%에서 누락된 필수 효과를 발견했습니다.
이 벤치마크는 세 가지 지표를 보고합니다: 단일 시도 성공을 측정하는 pass@1, 20번 시도에서 작업을 적어도 한 번 해결했는지 측정하는 pass@20, 그리고 기록된 20번의 모든 시도를 통과한 작업을 세는 Breadth, Observed 20/20. 이 접근 방식은 한 번의 성공이 신뢰성과 동일하지 않음을 드러냅니다. 환불을 한 번은 올바르게 처리하지만 네 번은 잘못 처리하는 에이전트는 작동하는 에이전트가 아닙니다.
모델 성능과 일관성
Claude Opus 5.5는 전체 pass@1 점수에서 67.16%로 선두를 차지하며, Claude Opus 5가 66.50%로 그 뒤를 따릅니다. 오픈 웨이트 모델 중에서는 Kimi-K3가 전체 57.37%로 가장 강력합니다. 그러나 일관성은 극명하게 다릅니다. Kimi-K3는 작업의 93.89%를 적어도 한 번은 해결하지만, 20번의 모든 시도에서 성공하는 작업은 13.41%에 불과합니다. 반면, Claude Opus 5는 초기에 더 적은 작업을 해결하지만 벤치마크의 47.53%를 모든 단일 시도에서 완료합니다.
Claude Opus 5.5는 Opus 5보다headline 정확도 점수가 높지만, 20번의 모든 시도에서 정확히 동일한 수의 작업(241개)을 통과합니다. 이는 정확도에서 0.5포인트의 상승이 추가적인 신뢰성을 가져오지 않았음을 나타냅니다. GPT-6 Astra는 반복 시도 동안 단일 시도 비율의 78%를 유지하는 반면, GLM-5.1 및 DeepSeek-V4-Pro와 같은 모델은 약 8%만 유지합니다.
실무자 노트
개발자는 실제 레코드에 접근하는 프로덕션 환경에서 모델을 선택할 때 단일 시도 점수보다 Observed 20/20 지표를 우선시해야 합니다. pass@1만 게시하는 리더보드에 의존하면 상태 유지 워크플로우에서 일관적으로 실패하지만 가능해 보이는 에이전트를 배포하게 될 수 있습니다.