2026-10-09 — views
FastBench 評估串流 VLM 的高動態感知能力
為什麼值得讀 串流 VLM 在高動態場景中常遭遇失敗。FastBench 透過嚴謹的軌跡基礎評估揭露這些限制，為未來模型開發提供指引。
FastBench 提出針對高動態影片串流的基準測試，揭示當前 VLM 在處理快速事件與時間粒度時面臨的挑戰。
高動態串流的挑戰
串流影片大型語言模型（VLMs）旨在實現持續的影片理解。然而，現有的基準測試主要專注於低動態場景，無法反映真實世界影片串流的複雜性。在高動態環境中，模型在有限的上下文預算下面臨關鍵的權衡：必須在時間歷史、空間解析度和時間粒度之間取得平衡。每秒一至兩幀（FPS）的低採樣率經常錯過快速移動的事件，導致顯著的感知錯誤。為填補此空白，研究人員引入了 FastBench，這是一個專門設計用於評估真實世界影片串流中高動態感知能力的新基準測試。
方法論與資料集建構
FastBench 採用軌跡基礎的流程，以確保評估資料的品質與相關性。流程始於由高 FPS 片段產生的問題生成。隨後對這些問題進行篩選，找出在較低的 2 FPS 速率下仍可回答的問題，以確保對時間感知能力的公平比較。答案驗證使用 SAM3 和 CoTracker3 軌跡來確立回應的正確性。資料集經過三輪人工檢查，以維持高標準。最終的 FastBench 資料集包含 306 個問答對，涵蓋八個領域和六種能力。它涵蓋了向前、即時和向後時間範圍，並包含人工註釋的證據區間，以支持嚴謹的分析。
當前模型的表現
該研究還提出了 ProactiveFrame，這是一個無需訓練的基準方法，透過文字 token 調整輸入的幀率。此方法使用雙層滑動視窗，保留近期的高 FPS 觀察結果，同時將較舊的觀察結果降採樣為稀疏歷史。在 FastBench 上的實驗揭示了當前 VLM 能力的重大限制。評估中表現最強的模型 Gemini-3.5-Flash 僅獲得 50.7% 的分數。更密集的採樣能提升表現；例如，Qwen3-VL-8B 的分數從 2 FPS 時的 32.9% 提升到 24 FPS 時的 44.6%。然而，隨著時間歷史被壓縮，這些增益會趨於飽和。ProactiveFrame 比稀疏均勻採樣高出 5.4 和 1.5 個百分點，但仍遠低於由神諭引導的聚焦方法。這表明當前的 VLM 難以僅從串流中判斷何時需要更細微的時間感知。
實戰筆記
開發串流影片應用程式的開發者應認識到，標準的稀疏採樣不足以應對高動態內容。實施自適應幀率策略（如 ProactiveFrame 所探討的）可能會帶來些許改進，但顯著的提升需要能夠更好識別何時高時間解析度至關重要的模型。