2026-10-10 — views
Ai2, 코먼즈의 비극 해결을 위해 우선순위 스케줄링을 GPU 시간 예산으로 대체
읽어야 하는 이유 이 사례 연구는 시간 예산과 같은 경제적 인센티브가 공유 GPU 클러스터에서의 자원 스쿼팅 및 우선순위 인플레이션과 같은 기술적 스케줄링 문제를 어떻게 해결할 수 있는지 보여줍니다.
Ai2는 결함이 있는 우선순위 기반 스케줄러에서 GPU 시간 예산이 포함된 계층적 공정 공유 시스템으로 전환하여 클러스터 점유율과 연구 영향력을 개선했습니다.
스케줄링 피라미드와 레거시 이슈
Ai2의 AI 인프라 팀은 88개에서 1024개 유닛에 이르는 클러스터에 걸쳐 수천 개의 NVIDIA H100, B200, B300 GPU를 관리합니다. 이러한 리소스는 대규모 분산 훈련, 로봇 강화 학습, 과학적 에이전트 사용 사례를 다루는 약 150명의 내부 연구원을 지원합니다. 이 팀은 가용성, 점유율, 영향력, 활용률이라는 지표의 피라미드를 통해 클러스터 관리를 바라봅니다. 역사적으로 그들은 워크로드가 선점(preemption)을 옵트아웃할 수 있는 우선순위 기반 스케줄러에 의존했습니다. 이 접근 방식은 GPU 스쿼팅과 같은 예측 가능한 병리 현상을 초래했는데, 이는 사용자가 향후 디버깅을 위해 리소스를 확보하기 위해 무작위(no-op) 워크로드를 대기 상태로 두는 현상이었습니다. 또한, 100%의 워크로드가 HIGH 우선순위를 채택하면서 낮은 우선순위 작업이 기아 상태에 빠지는 우선순위 인플레이션이 발생했습니다. 엔지니어들은 유지보수 중 선점 불가능한 워크로드의 종료를 협상하는 데 상당한 시간을 보냈습니다.
독점으로부터 시간 예산으로
레거시 시스템은 개인 사용자가 글로벌 성능을 희생하면서 자신의 결과를 최대화하는 코먼즈의 비극을 만들었습니다. 이를 수정하기 위한 초기 시도는 중요한 프로젝트에 GPU 독점권을 부여하는 것이었지만, 이는 연구 요구의 계절성으로 인해 유휴 시간을 초래했습니다. 이를 해결하기 위해 Ai2는 우선순위 시스템을 GPU 시간 예산과 계층적 공정 공유 할당에 기반한 모델로 대체했습니다. 시스템은 물리적 하드웨어를 할당하는 대신 GPU 시간의 일부를 할당합니다. 이는 개별 사례별 운영 작업에서 투명한 행정 예산 프로세스로 논의를 전환합니다. 관리자는 전략적 영향력을 바탕으로 프로젝트와 연구원에게 GPU 시간을 할당하며, 이는 리더십이 투자자처럼 생각하도록 허용합니다. 이제 모든 GPU 시간 요청은 예산으로 자금 지원되어야 하며, 그렇지 않으면 선점으로부터 보호되지 않습니다. 이는 스케줄러를 조작하는 것이 더 큰 예산을 정직하게 주장하는 것보다 더 비싸게 만듭니다.
계층적 공정 공유 구현
예산 도구와 함께 Ai2는 계층적 공정 공유 스케줄러를 구현했습니다. 이 시스템은 연구 프로그램 구조를 반영하며, 가중치는 정적 쿼터가 아니라 관리자가 설정한 예산에 의해 결정됩니다. 스케줄러는 슬라이딩 백로그 창을 통해 점유율을 추적하며, 기본값은 7일입니다. 이는 과소 활용된 할당보다 과다 활용된 할당 위에 워크로드를 정렬하여, 모든 그룹이 적극적으로 워크로드를 제출하는 한 주간 범위 내에서 할당된 GPU 시간을 받도록 보장합니다. 이 접근 방식은 팀이 미사용 용량이 있는 경우 할당 한계를 넘어 버스트(burst)할 수 있게 하여, 그렇지 않으면 손실될 컴퓨팅을 회수합니다. 새로운 시스템은 버스트성 워크로드를 효율적으로 처리함으로써 클러스터가 추가 30%의 컴퓨팅 용량을 가진 것처럼 느끼게 했다고 보고되었습니다.
실무자 노트
공유 컴퓨팅 리소스를 관리하는 개발자는 개인 인센티브를 조직 목표와 일치시키기 위해 정적 하드웨어 할당 대신 시간 기반 예산을 구현하는 것을 고려해야 합니다. 현재 시스템에서 우선순위 인플레이션과 자원 스쿼팅을 주의 깊게 관찰하십시오. 이는 경제적 제약이 있는 공정 공유 모델이 필요하다는 일반적인 지표이기 때문입니다.