2026-10-20 — views
OpenVLHarness 通过多模态记忆和工具使用提升 MLLM 性能
为什么值得读 该框架通过将模型锚定于外部证据，解决了仅依赖内部推理的局限性，以更低 Token 成本带来显著性能提升。
OpenVLHarness 利用持久化记忆和异构工具集成，将多模态模型得分最高提升 12.6 分。
内部推理的局限
多模态大语言模型（MLLMs）在视觉推理领域展现了快速进展。然而，一项涵盖 22 个基准测试的受控研究揭示了一个关键瓶颈：许多任务需要证据，而这些证据无法仅通过内部推理获得。研究表明，单纯增加基础模型的推理预算仅能带来 modest 的性能提升。为了解决这些复杂任务，系统需要具备基于感知的能力、访问外部知识的途径，以及使用异构工具进行数值测量的能力。关键在于，这些工具的输出必须能被模型解释，并在各种推理步骤中保留下来。
介绍 OpenVLHarness
为了解决这些挑战，研究人员推出了 OpenVLHarness，这是一个围绕两个核心组件设计的多模态推理框架：能力层和持久化多模态记忆。能力层将任务级工具接口与证据渲染相结合。这种结构提供了对异构后端的持续访问，并将其输出转换为模型易于读取的观察结果。同时，持久化多模态记忆在每个查询期间保留相应的图像、结构化数据和网络引用作为可寻址的工件。这确保了证据在步骤之间不会丢失。
机制与评估
OpenVLHarness 的一个关键功能是其编码接口，该接口在存储的数据上执行生成的程序。这使得能够结合多个工具的结果进行计算，支持获取、检查和组合多模态证据的迭代过程。该系统在 22 个基准测试中使用了八个开源和专有骨干网络进行了评估。结果显示，与匹配的非工具基线相比，OpenVLHarness 将平均分数提高了 9.7 到 12.6 分。具体改进包括：Qwen3-VL-8B 提高了 11.2 分，Kimi K3 提高了 9.7 分，GPT-6 Astra 提高了 9.9 分。
此外，在使用 GPT-6 Luna 进行中等推理努力时，OpenVLHarness 在最大努力下的性能优于基础模型、Codex 和 Visual Sketchpad，高出 7.7 到 8.5 分。值得注意的是，这种优越的性能是在产生的模型 Token 成本最多仅为竞争方法所需成本的 37% 的情况下实现的。这表明该框架不仅提高了准确性，还通过减少与高努力推理相关的计算开销提高了效率。
实务笔记
开发人员应集成 OpenVLHarness，以使其模型能够访问外部工具并保留多模态上下文，这将显著提升复杂视觉任务的性能。留意利用持久化记忆层的机会，在保持或超过高努力基线模型准确性的同时降低 Token 成本。