2026-10-10 — views
Ai2 以 GPU 时间预算取代优先级调度，解决公地悲剧
为什么值得读 本案例研究展示了时间预算等经济激励措施如何解决共享 GPU 集群中的资源占用和优先级膨胀等技术调度问题。
Ai2 从有缺陷的基于优先级的调度器转向具有 GPU 时间预算的分层公平共享系统，提升了集群占用率和研究影响力。
调度金字塔与遗留问题
Ai2 的基础设施团队在 88 到 1024 个单元不等的集群中管理着数千块 NVIDIA H100、B200 和 B300 GPU。这些资源服务于约 150 名内部研究人员，他们正在进行大规模分布式训练、机器人强化学习和科学智能体用例的研究。该团队通过可用性、占用率、影响力和利用率这一指标金字塔来看待集群管理。历史上，他们依赖一种允许工作负载选择退出抢占的基于优先级的调度器。这种方法导致了可预测的病理现象，包括 GPU 占用，即用户停放无操作的工作负载以在未来调试时确保资源。此外，优先级膨胀也随之发生，因为 100% 的工作负载都采用了 HIGH 优先级，导致低优先级任务被饿死。工程师还花费了大量时间协商在维护期间关闭不可抢占的工作负载。
从垄断到时间预算
遗留系统造成了公地悲剧，即个别用户以牺牲全局性能为代价来最大化自身利益。最初的修复尝试是将 GPU 垄断权分配给重要项目，但这导致了因研究需求的季节性而产生的空闲时间。为了解决这个问题，Ai2 用基于 GPU 时间预算和分层公平共享分配的模式取代了优先级系统。该系统不分配物理硬件，而是分配 GPU 时间的一部分。这将争论从逐案操作任务转移到了透明的行政预算流程。经理根据战略影响将 GPU 时间分配给项目和研究人员，使领导层能够像投资者一样思考。现在，每个 GPU 时间请求都必须由预算资助；否则，它无法免受抢占。这使得操纵调度器的成本高于诚实地争取更大预算的成本。
分层公平共享实施
与预算工具配合，Ai2 实施了一个分层公平共享调度器。该系统反映了研究计划的结构，权重由经理设定的预算决定，而不是静态配额。调度器在滑动回溯窗口内跟踪占用率，默认为七天。它将工作负载排序，使来自利用率不足分配的工作负载位于来自利用率过高分配的工作负载之上，确保每个组在一周的时间范围内都能获得其分配的 GPU 时间，前提是他们积极提交工作负载。这种方法允许团队在拥有未用容量时超出其分配限制，回收原本会丢失的计算资源。据报道，新系统通过高效处理突发工作负载，使集群感觉增加了 30% 的计算容量。
实务笔记
管理共享计算资源的开发人员应考虑实施基于时间的预算，而不是静态硬件分配，以使个人激励与组织目标保持一致。注意当前系统中的优先级膨胀和资源占用，因为这些是需要公平共享模型和经济约束的常见指标。