2026-10-20 — views
OpenVLHarness, 다중 모드 메모리 및 도구 활용으로 MLLM 성능 향상
읽어야 하는 이유 이 프레임워크는 모델을 외부 증거에 기반하여 고정시킴으로써 내부 추론만의 한계를 해결하며, 더 낮은 토큰 비용으로 상당한 성능 향상을 제공합니다.
OpenVLHarness는 지속적 메모리와 이종 도구 통합을 통해 다중 모드 모델 점수를 최대 12.6 포인트 향상시킵니다. 이는 22개 벤치마크에서 검증된 결과로, 외부 증거 기반 추론을 통해 내부 추론의 한계를 극복합니다.
내부 추론의 한계
다중 모드 대규모 언어 모델(MLLM)은 시각적 추론 분야에서 빠른 진전을 보여 왔습니다. 그러나 22개 벤치마크에서 수행된 통제된 연구는 중요한 병목 현상을 드러냈습니다: 많은 작업은 내부 추론만으로는 얻을 수 없는 증거를 필요로 합니다. 연구에 따르면 기본 모델의 추론 예산을 단순히 증가시키는 것은 성능 향상에 미미한 효과만 가져옵니다. 이러한 복잡한 작업을 해결하기 위해 시스템은 근거 기반 지각, 외부 지식 접근, 그리고 이종 도구를 사용한 수치 측정이 가능해야 합니다. 특히 이러한 도구에서 생성된 출력은 모델이 해석할 수 있어야 하며, 다양한 추론 단계 동안 유지되어야 합니다.
OpenVLHarness 소개
이러한 과제를 해결하기 위해 연구자들은 OpenVLHarness를 도입했습니다. 이는 두 가지 핵심 구성 요소, 즉 기능 레이어와 지속적 다중 모드 메모리를 중심으로 설계된 다중 모드 추론 허깅입니다. 기능 레이어는 작업 수준 도구 인터페이스를 증거 렌더링과 통합합니다. 이 구조는 이종 백엔드에 대한 일관된 접근을 제공하고, 그 출력을 모델이 쉽게 읽을 수 있는 관찰로 변환합니다. 동시에 지속적 다중 모드 메모리는 각 쿼리 동안 해당 이미지, 구조화된 데이터, 웹 참조를 주소 지정 가능한 아티팩트로 유지합니다. 이를 통해 단계 간에 증거가 손실되지 않도록 보장합니다.
메커니즘 및 평가
OpenVLHarness의 주요 특징 중 하나는 저장된 데이터 위에서 생성된 프로그램을 실행하는 코딩 인터페이스입니다. 이는 여러 도구에서 얻은 결과를 결합하는 계산을 가능하게 하여, 다중 모드 증거를 획득, 검사, 구성하는 반복적인 프로세스를 지원합니다. 이 시스템은 8개의 오픈 소스 및 독점 백본을 사용하여 22개 벤치마크에서 평가되었습니다. 결과적으로 OpenVLHarness는 일치하는 도구 없음 기준선 대비 평균 점수를 9.7에서 12.6 포인트 향상시켰습니다. 구체적인 향상 폭으로는 Qwen3-VL-8B에서 11.2 포인트, Kimi K3에서 9.7 포인트, GPT-6 Astra에서 9.9 포인트 증가가 있었습니다.
더불어, GPT-6 Luna를 중등 추론 노력으로 사용할 때 OpenVLHarness는 최대 노력으로 작동하는 기본 모델인 Codex와 Visual Sketchpad보다 7.7에서 8.5 포인트 더 높은 성능을 보였습니다. 주목할 만한 점은 이 우수한 성능이 경쟁 방법들이 요구하는 모델 토큰 비용의 최대 37%만 소모하면서 달성되었다는 것입니다. 이는 허깅이 정확도 향상뿐만 아니라 고노력 추론과 관련된 계산 오버헤드를 줄여 효율성도 개선함을 보여줍니다.
실무자 노트
개발자는 모델이 외부 도구에 접근하고 다중 모드 컨텍스트를 유지할 수 있도록 OpenVLHarness를 통합해야 합니다. 이는 복잡한 시각적 작업에서 성능을 크게 향상시킵니다. 지속적 메모리 레이어를 활용하여 고노력 기준선 모델의 정확도를 유지하거나 초과하면서 토큰 비용을 줄일 기회를 모색하십시오.