2026-10-09 — views
FastBench는 스트리밍 VLM의 고다이나믹 인지 능력을 평가합니다
읽어야 하는 이유 스트리밍 VLM은 종종 고다이나믹 시나리오에서 실패합니다. FastBench는 엄격한 궤적 기반 평가를 통해 이러한 한계를 드러내며, 향후 모델 개발을 안내합니다.
FastBench는 고다이나믹 영상 스트림을 위한 벤치마크를 도입하여, 최신 VLM이 빠른 사건과 시간적 세분성 처리에서 어려움을 겪고 있음을 드러냈습니다.
고다이나믹 스트리밍의 과제
스트리밍 영상 대규모 언어 모델(VLM)은 연속적인 영상 이해를 가능하게 하기 위해 설계되었습니다. 그러나 기존 벤치마크는 주로 저다이나믹 시나리오에 초점을 맞추고 있어, 실제 영상 스트림의 복잡성을 반영하지 못합니다. 고다이나믹 환경에서는 모델이 제한된 컨텍스트 예산 하에서 중요한 트레이드오프에 직면합니다. 즉, 시간적 역사, 공간적 해상도, 시간적 세분성 사이의 균형을 맞춰야 합니다. 초당 1~2프레임(FPS)의 낮은 샘플링률은 빠르게 움직이는 사건을 자주 놓쳐 상당한 인지 오류를 초래합니다. 이러한 격차를 해소하기 위해 연구자들은 FastBench라는 새로운 벤치마크를 도입했으며, 이는 실제 영상 스트림에서의 고다이나믹 인지 능력을 평가하도록 특별히 설계되었습니다.
방법론 및 데이터셋 구축
FastBench는 평가 데이터의 품질과 관련성을 보장하기 위해 궤적 기반 파이프라인을 사용합니다. 이 과정은 고FPS 클립에서 유도된 질문 생성으로 시작됩니다. 그런 다음 이러한 질문을 필터링하여 낮은 2 FPS 속도에서도 답변 가능한 질문을 식별함으로써 시간적 인지 능력의 공정한 비교를 보장합니다. 답변 검증은 SAM3 및 CoTracker3 궤적을 사용하여 응답의 정확성을 입증합니다. 데이터셋은 높은 기준을 유지하기 위해 세 번의 인간 검사를 거칩니다. 결과적으로 생성된 FastBench 데이터셋은 8개의 도메인과 6가지 능력을 아우르는 306개의 질문-답변 쌍으로 구성됩니다. 이는 전방, 순간, 후방 시간 범위를 포함하며, 엄격한 분석을 지원하기 위해 인간이 주석 처리한 증거 간격을 포함합니다.
현재 모델의 성능
이 연구는 또한 ProactiveFrame이라는 학습 없는 베이스라인을 제시합니다. 이는 텍스트 토큰을 통해 들어오는 프레임 레이트를 조정합니다. 이 방법은 이중 계층 슬라이딩 윈도우를 사용하여 최근의 고FPS 관찰을 유지하면서 오래된 관찰을 희소한 역사로 다운샘플링합니다. FastBench에서의 실험은 현재 VLM 능력의 상당한 한계를 드러냈습니다. 평가된 가장 강력한 모델인 Gemini-3.5-Flash는 50.7%의 점수만 달성했습니다. 더 밀집된 샘플링은 성능을 향상시킵니다. 예를 들어, Qwen3-VL-8B는 2 FPS에서 32.9%였던 점수가 24 FPS에서 44.6%로 증가했습니다. 그러나 시간적 역사가 압축됨에 따라 이러한 향상은 포화 상태에 도달합니다. ProactiveFrame은 희소한 균일 샘플링보다 5.4 및 1.5 퍼센트 포인트 더 우수하지만, 오라클 가이드 포커싱에는 훨씬 미치지 못합니다. 이는 현재 VLM이 스트림만으로 더 세밀한 시간적 인지가 필요한 시기를 결정하는 데 어려움을 겪고 있음을 나타냅니다.
실무자 노트
스트리밍 영상 애플리케이션을 구축하는 개발자는 표준 희소 샘플링이 고다이나믹 콘텐츠에는 충분하지 않다는 점을 인식해야 합니다. ProactiveFrame에서 탐구된 것과 같은 적응형 프레임 레이트 전략을 구현하면 미미한 개선 효과를 얻을 수 있지만, 상당한 향상은 높은 시간적 해상도가 중요한 시기를 더 잘 식별할 수 있는 모델을 필요로 합니다.