2026-08-22 — views
MidTool:透過中期訓練增強代理能力
為什麼值得讀 本研究顯示,專為強大代理工具使用而設計的中期訓練至關重要,為僅依賴後期訓練方法的大型語言模型提供了更優的替代方案。
MidTool 引入中期訓練流程,結合網路資料與合成 API 監督,顯著提升 Qwen3 模型的通用工具使用能力。
中期訓練的關鍵角色
中期訓練日益被視為塑造大型語言模型能力的關鍵階段。近期研究顯示,針對性的中期訓練可以強化數學和科學等需要密集推理的能力,也能改善軟體工程環境中的代理能力。在本研究中,我們探討了平行但較少被探索的代理能力:通用工具使用。
介紹 MidTool
我們提出 MidTool,這是一個用於代理工具使用中期訓練的開放語料庫建構流程,它將大規模的網路、PDF 和程式碼資料與來自真實世界工具 API、MCP 技能和文件基礎工作流程的合成監督相結合。MidTool 旨在教導模型如何識別工具可用性、從上下文中定位論據、組合工具呼叫工作流程,以及從不完整的資訊中恢復。
實驗結果與影響
我們在 MidTool-Mix 上對 Qwen3-4B-Base 和 Qwen3-8B-Base 進行中期訓練,然後應用後續的監督微調和強化學習進行後期訓練。與基線相比,MidTool-Mix 在 BFCL、tau2-Bench 和 MCP Universe 上,在監督微調和強化學習下均持續提升下游性能。這些結果表明,通用工具使用像其他重要的大型語言模型能力一樣,從專用的中期訓練中受益,而不是完全依賴後期訓練。
實戰筆記
開發人員若需要強大的代理工具使用能力,應考慮將中期訓練階段整合到其模型開發流程中。僅依賴監督微調和強化學習等後期訓練方法,可能不足以在通用工具使用場景中實現最佳性能。