SWE-Flux 벤치마크, LLM의 런타임 추론 능력 한계 드러내
읽어야 하는 이유 LLM은 여전히 런타임 동작 추론에 약합니다. SWE-Flux는 실제 Python 저장소 전반에 걸친 이 격차를 측정하기 위한 엄격하고 자동화된 벤치마크를 제공합니다.
새로운 SWE-Flux 벤치마크는 최고 LLM들이 동적 실행 추론 작업에서 37%의 정확도만 달성함을 보여줍니다.
태그 · #python
OpenAI, 초당 7천만 건 요청 처리를 위해 Habitat 저장소 확장
읽어야 하는 이유 단기적 기술 부채를 수용하여 빠른 플랫폼 안정성을 달성하고 저장소 로직을 분리함으로써 지수적 성장을 관리한 사례 연구.
OpenAI 엔지니어들이 Python 기반 Habitat 저장소 플랫폼을 확장하여 unprecedented 성장과 함께 10억 명 이상의 사용자를 지원한 방법을 상세히 설명합니다.