2026-10-20 — views
OpenVLHarnessはマルチモーダルメモリとツール活用でMLLMの性能を向上させる
読む理由 このフレームワークは、モデルを外部証拠に grounding することで内部推論のみの限界を解決し、トークンコストを抑えながら大幅な性能向上を実現します。
OpenVLHarnessは、永続メモリと異種ツール統合により、マルチモーダルモデルのスコアを最大12.6ポイント向上させます。
内部推論の限界
マルチモーダル大規模言語モデル（MLLM）は視覚推論の分野で急速な進歩を示していますが、22のベンチマークで実施された制御研究により、重要なボトルネックが明らかになりました。多くのタスクでは、内部推論だけでは得られない証拠が必要です。研究によれば、ベースモデルの推論予算を単純に増やしても、性能向上は限定的です。これらの複雑なタスクに対処するには、システムに根拠のある知覚、外部知識へのアクセス、そして異種ツールを用いた数値測定能力が必要です。重要なのは、これらのツールからの出力がモデルにとって解釈可能であり、様々な推論ステップにわたって保持されることです。
OpenVLHarnessの紹介
これらの課題を解決するため、研究者らはOpenVLHarnessを導入しました。これは2つの主要なコンポーネント、すなわち能力層と永続的多モーダルメモリを中心に設計されたマルチモーダル推論ハーネスです。能力層は、タスクレベルのツールインターフェースと証拠レンダリングを統合しています。この構造により、異種バックエンドへの一貫したアクセスが可能になり、その出力をモデルが容易に読み取れる観察形式に変換します。同時に、永続的多モーダルメモリは、各クエリを通じて対応する画像、構造化データ、Web参照をアドレス可能なアーティファクトとして保持します。これにより、ステップ間で証拠が失われることがなくなります。
メカニズムと評価
OpenVLHarnessの主要な特徴の1つは、保存されたデータ上で生成されたプログラムを実行するコーディングインターフェースです。これにより、複数のツールからの結果を組み合わせた計算が可能になり、マルチモーダル証拠の取得、検査、合成の反復プロセスをサポートします。このシステムは、8つのオープンおよびプロプライエタリなバックボーンを用いて22のベンチマークで評価されました。その結果、OpenVLHarnessはマッチングされたツールなしのベースラインと比較して、平均スコアを9.7〜12.6ポイント向上させることが示されました。具体的な改善としては、Qwen3-VL-8Bで11.2ポイント、Kimi K3で9.7ポイント、GPT-6 Astraで9.9ポイントの増加が含まれます。
さらに、GPT-6 Lunaを中程度の推論努力で使用する場合、OpenVLHarnessは最大努力時のベースモデル、Codex、Visual Sketchpadを7.7〜8.5ポイント上回りました。特筆すべきは、この優れた性能が、競合手法に必要なモデルトークンコストの最大37%で達成されたことです。これは、ハーネスが精度を向上させるだけでなく、高努力推論に伴う計算オーバーヘッドを削減することで効率性も向上させることを示しています。
実装ノート
開発者は、モデルが外部ツールにアクセスし、マルチモーダルコンテキストを保持できるようにOpenVLHarnessを統合すべきです。これは複雑な視覚タスクにおける性能を大幅に向上させます。永続メモリ層を活用して、高努力ベースラインモデルの精度を維持または上回りながら、トークンコストを削減する機会を探してください。