タグ · #python

SWE-Fluxベンチマークが明らかにする、ランタイム推論における大規模言語モデルの苦戦

読む理由 LLMは依然としてランタイム動作の推論が苦手である。SWE-Fluxは、実際のPythonリポジトリ全体にわたるこのギャップを測定するための厳密で自動化されたベンチマークを提供する。

新しいリポジトリレベルのベンチマークSWE-Fluxは、トップLLMが動的実行推論タスクでわずか37%の精度しか達成できないことを示した。

読む理由短期間の技術的負債を認めることで急速なプラットフォームの安定性を達成し、ストレージロジックを分離するという、指数関数的な成長を管理するためのケーススタディ。

OpenAIエンジニアが、PythonベースのHabitatストレージプラットフォームを、過去にない成長を遂げながら10億人以上のユーザーに対応するためにどのようにスケールさせたかを詳述する。