タグ · #runtime

SWE-Fluxベンチマークが明らかにする、ランタイム推論における大規模言語モデルの苦戦

読む理由 LLMは依然としてランタイム動作の推論が苦手である。SWE-Fluxは、実際のPythonリポジトリ全体にわたるこのギャップを測定するための厳密で自動化されたベンチマークを提供する。

新しいリポジトリレベルのベンチマークSWE-Fluxは、トップLLMが動的実行推論タスクでわずか37%の精度しか達成できないことを示した。