標籤 · #runtime

SWE-Flux 基準測試揭示大型語言模型在執行期推理上的困境

為什麼值得讀 大型語言模型在執行期行為方面仍顯薄弱。SWE-Flux 提供了一項嚴謹且自動化的基準測試，用於衡量模型在真實 Python 儲存庫中此方面的差距。

新推出的儲存庫層級基準測試 SWE-Flux 顯示，頂級大型語言模型在動態執行推理任務上的準確率僅達 37%，暴露出其在處理複雜程式碼執行邏輯時的顯著不足。