2026-10-20 — views
OpenVLHarness 透過多模態記憶與工具使用提升 MLLM 效能
為什麼值得讀 此框架透過將模型錨定於外部證據，解決僅靠內部推理的局限性，並以更低的 token 成本提供顯著的效能提升。
OpenVLHarness 利用持續性記憶與異質工具整合，將多模態模型分數提升高達 12.6 分。
內部推理的極限
多模態大型語言模型（MLLMs）在視覺推理領域展現了快速進展。然而，一項涵蓋 22 個基準測試的控制研究揭示了一個關鍵瓶頸：許多任務需要透過內部推理無法取得的證據。研究指出，單純增加基礎模型的推理預算僅能帶來 modest 的效能提升。為了解決這些複雜任務，系統需要具錨定性的感知能力、外部知識存取權限，以及使用異質工具進行數值測量。關鍵在於，這些工具的輸出必須能被模型解讀，並在各種推理步驟中保留下來。
介紹 OpenVLHarness
為了解決這些挑戰，研究人員引入了 OpenVLHarness，這是一個圍繞兩個核心組件設計的多模態推理框架：能力層（capability layer）與持續性多模態記憶。能力層將任務級別的工具介面與證據呈現整合在一起。此結構提供了對異質後端的一致存取，並將其輸出轉換為模型可輕鬆閱讀的觀察結果。同時，持續性多模態記憶會在每次查詢期間，將相應的影像、結構化資料和網頁參考資料作為可尋址的物件保留下來。這確保了證據在步驟之間不會遺失。
機制與評估
OpenVLHarness 的一個關鍵功能是程式碼介面，它會在儲存的資料上執行生成的程式。這使得結合多個工具結果的計算成為可能，支援獲取、檢查和組合多模態證據的迭代過程。該系統在 22 個基準測試上使用了八個開放式和專有後備模型進行了評估。結果顯示，與配對的無工具基準相比，OpenVLHarness 將平均分數提升了 9.7 到 12.6 分。具體的改進包括：Qwen3-VL-8B 提升了 11.2 分，Kimi K3 提升了 9.7 分，GPT-6 Astra 提升了 9.9 分。
此外，在使用 GPT-6 Luna 進行中等推理努力時，OpenVLHarness 在最大努力下的表現優於基礎模型、Codex 和 Visual Sketchpad，高出 7.7 到 8.5 分。值得注意的是，這種優異的效能是在僅消耗競爭方法所需模型 token 成本最多 37% 的情況下實現的。這證明了該框架不僅提高了準確性，還透過減少高強度推理相關的計算開銷，提升了效率。
實戰筆記
開發人員應整合 OpenVLHarness，以使其模型能夠存取外部工具並保留多模態上下文，這將顯著提升複雜視覺任務的效能。留意利用持續性記憶層的機會，以在維持或超越高強度基準模型準確性的同時，降低 token 成本。