2026-09-24 — views
SWE-Flux 基準測試揭示大型語言模型在執行期推理上的困境
為什麼值得讀 大型語言模型在執行期行為方面仍顯薄弱。SWE-Flux 提供了一項嚴謹且自動化的基準測試，用於衡量模型在真實 Python 儲存庫中此方面的差距。
新推出的儲存庫層級基準測試 SWE-Flux 顯示，頂級大型語言模型在動態執行推理任務上的準確率僅達 37%，暴露出其在處理複雜程式碼執行邏輯時的顯著不足。
執行期推理的挑戰
大型語言模型日益整合至程式開發工作流程中，然而其對程式碼執行的推理能力仍是一個未解之謎。雖然現有的儲存庫層級問答基準測試主要評估靜態程式碼理解能力，但它們通常依賴可能不可靠的基於大型語言模型的評估方法。此外，專注於執行推理的基準測試通常限於小型程式碼片段或單一函式，缺乏完整軟體專案的複雜度。
介紹 SWE-Flux
為了解決這些限制，研究人員推出了 SWE-Flux，這是一個專門為動態執行推理設計的儲存庫層級基準測試。該基準測試包含分佈在 12 個真實 Python 儲存庫中的 480 個執行基礎實例。SWE-Flux 的一項關鍵創新在於其生成真實答案（ground truth）的方法。黃金答案並非依賴人工撰寫或主觀的大型語言模型判斷，而是從帶有插樁的測試執行中自動收集。這種方法確保了評估模型性能時具有更高的保真度和客觀性。
基準測試範圍與評估
SWE-Flux 涵蓋了廣泛的動態程式設計概念，包括單一測試和多測試問題。任務評估了對控制流程、迴圈、程式狀態、資料流、例外狀況和程式不變量的理解。該研究在該基準測試上評估了五種不同的大型語言模型，以衡量其能力。結果表明，對執行期行為的推理對當前的 AI 系統來說仍然是一個巨大的挑戰。
效能結果
評估顯示，表現最佳的模型僅達到 37% 的準確率。這個低分突顯了任務的難度。對模型效能的分析顯示出成功與失敗的明顯模式。模型在本地化行為方面表現相對較好，例如理解不變量、過程內控制流程、例外狀況和簡單迴圈。然而，它們在更複雜的任務上遇到了顯著困難。這些困難領域包括資料流分析、過程間執行、精確的狀態推理以及套件層級的聚合。
生成新鮮變體
除了評估之外，該研究還展示了用於創建基準測試的 Oracle 採集管線的實用性。該管線可以通過輸入擾動生成新鮮的基準測試變體。研究人員發現，這種方法成功為幾乎 90% 的選定實例採集了有效的變體。重要的是，這些新生成的變體對被評估的模型來說具有實質性的挑戰性，這表明基準測試可以擴展以進一步測試模型的極限。
實戰筆記
開發者應認識到，目前的大型語言模型在推理複雜的執行期行為或過程間狀態變化方面尚不可靠。依賴這些模型來處理涉及複雜資料流或套件層級邏輯的程式碼，需要嚴格的 manual 驗證和測試。