2026-10-10 — views
Ai2 以 GPU 時間預算取代優先級調度，解決公地悲劇
為什麼值得讀 此案例研究展示了時間預算等經濟激勵措施如何解決共享 GPU 叢集中資源閒置和優先級膨脹等技術調度問題。
Ai2 從有缺陷的優先級調度器轉向具有 GPU 時間預算的分層公平共享系統，提升了叢集佔用率和研究影響力。
調度金字塔與傳統問題
Ai2 的 AI 基礎設施團隊在 88 到 1024 個單位的叢集中管理數千個 NVIDIA H100、B200 和 B300 GPU。這些資源服務於大約 150 名內部研究人員，他們從事大規模分佈式訓練、機器人強化學習和科學智能體用例。該團隊通過可用性、佔用率、影響力和利用率這組指標金字塔來看待叢集管理。歷史上，他們依賴一種允許工作負載選擇退出搶佔的優先級調度器。這種方法導致了可預測的病態問題，包括 GPU 閒置，即用戶停放無操作的工作負載以確保未來調試所需的資源。此外，由於 100% 的工作負載都採用了 HIGH 優先級，導致低優先級任務飢餓，出現了優先級膨脹。工程師還花費大量時間在維護期間協商關閉不可搶佔的工作負載。
從壟斷到時間預算
傳統系統造成了公地悲劇，即個別用戶以犧牲全局性能為代價來最大化自己的結果。最初的修復嘗試是為重要項目分配 GPU 壟斷權，但這由於研究需求的季節性導致了空閒時間。為了解決這個問題，Ai2 用基於 GPU 時間預算和分層公平共享分配的模型取代了優先級系統。系統不再分配物理硬件，而是分配 GPU 時間的一部分。這將辯論從逐案的操作任務轉向了透明的行政預算流程。經理根據戰略影響將 GPU 時間分配給項目和研究人員，讓領導層能夠像投資者一樣思考。現在，每個 GPU 時間請求都必須由預算資助；否則，它無法免受搶佔。這使得操縱調度器的成本比誠懇地爭取更大預算更高。
分層公平共享的實施
與預算工具配合，Ai2 實施了一個分層公平共享調度器。該系統反映了研究計劃結構，權重由經理設定的預算決定，而不是靜態配額。調度器在滑動回溯窗口（默認為七天）內追蹤佔用率。它將來自未充分利用分配的負載排在來自過度利用分配的負載之上，確保每個小組在一週的範圍內都能獲得其分配的 GPU 時間，前提是他們積極提交工作負載。這種方法允許團隊在未使用容量的情況下超出其分配限制，收回原本會丟失的計算資源。據報，新系統通過高效處理突發性工作負載，使叢集感覺像是擁有了額外的 30% 計算能力。
實戰筆記
管理共享計算資源的開發人員應考慮實施基於時間的預算，而不是靜態硬件分配，以將個人激勵與組織目標對齊。注意當前系統中的優先級膨脹和資源閒置，因為這些是需要公平共享模型和經濟約束的常見指標。