SWE-Flux 벤치마크, LLM의 런타임 추론 능력 한계 드러내
읽어야 하는 이유 LLM은 여전히 런타임 동작 추론에 약합니다. SWE-Flux는 실제 Python 저장소 전반에 걸친 이 격차를 측정하기 위한 엄격하고 자동화된 벤치마크를 제공합니다.
새로운 SWE-Flux 벤치마크는 최고 LLM들이 동적 실행 추론 작업에서 37%의 정확도만 달성함을 보여줍니다.
읽어야 하는 이유 LLM은 여전히 런타임 동작 추론에 약합니다. SWE-Flux는 실제 Python 저장소 전반에 걸친 이 격차를 측정하기 위한 엄격하고 자동화된 벤치마크를 제공합니다.
새로운 SWE-Flux 벤치마크는 최고 LLM들이 동적 실행 추론 작업에서 37%의 정확도만 달성함을 보여줍니다.