タグ · #benchmarks

SWE-Gateベンチマークが、テスト合格と実世界のコード承認の間のギャップを明らかに

読む理由 開発者は、機能的成功がデプロイ可能なコード品質に等しいわけではないことを認識する必要がある。

新ベンチマークSWE-Gateは、コーディングエージェントが機能テストに合格しても、レビュー制約を満たせないことが多くあることを示している。