Ai2把GPU排队权变成预算：抢卡的激励机制被改了

算力基础设施 / 训练工程 · 8.7/10 · 建议读工程记录

艾伦人工智能研究所Ai2在工程文章里公开了一次生产集群调度改造。它管理数千张H100、B200和B300，提交的任务在任何时刻需要的GPU是可用量的两到三倍。旧规则按任务自报的优先级排队，还允许部分任务长期免于抢占；结果所有已运行任务最后都写成“高优先级”，有人甚至用空转任务占住卡，以便随时开始调试。这不是显卡性能不够，而是排队规则让占坑变得划算。

新规则先按研究项目分配GPU时间预算，再用七天滑动窗口计算各组实际用了多少。任务申报最短需要连续运行多久；这段时间受保护，之后若别的项目更缺额度，就可以暂停并重新排队。暂时没人使用的GPU仍能给超额任务占用，只是没有保护。预算让“永远最高优先级”变得有成本，也使管理层能公开讨论哪些研究值得多分算力，而不是让值班工程师逐项谈判。

Ai2报告，在30天试运行里，各团队拿到了应得GPU小时的98%，集群占用率改造前后都约为98%；短调试任务排队的第90百分位从约两小时降至30秒，主力H100集群排队中位数从五分钟降至24秒。数字来自Ai2自身集群，不是通用调度器性能保证。团队也承认旧阶段短调试任务样本较少，长时间交互会话被抢占后恢复困难，大型任务还可能因为资源碎片化更难排入。工程价值在于，它同时公布了改善、代价和下一步要修的地方。