GPUが足りないとき、誰に先に使わせるかをどう決めるべきでしょうか。
Ai2のAIインフラチームが公開した Impactful scheduling for GPU clusters は、この問いに一つの答えを示しています。
- H100、B200、B300など数千基のGPUを、約150人の研究者が共有しています。需要は常に供給の2〜3倍です。
- 従来の優先度ベースのスケジューラを、GPU時間の予算、階層型フェアシェア、タイムスライスの取り決めを組み合わせた仕組みに置き換えました。
4つの指標で「何を良くするか」を切り分ける
同チームは、可用性、占有率、インパクト、稼働効率を積み上げたピラミッドで運用を捉えています。今回の対象は、そのうち「価値の高いワークロードが選ばれているか」というインパクトです。GPUを遊ばせないことと、正しい仕事に使うことは別の課題だと整理した点が出発点です。
個別の調整から、透明な予算編成へ
BeforeとAfterの違いは、議論の場所にあります。
- Before：各プロジェクトにどれだけGPU時間を割くかが、案件ごとの運用判断として都度決まっていました。
- After：その議論が、誰でも見える予算編成のプロセスに移りました。
需要が供給を大きく上回る環境では、配分の議論は避けられません。この事例が示すのは、その議論を運用担当者の個別対応から、ルールに基づく管理へ移せるということです。
自組織に持ち帰れる視点
この発想はAi2の規模に限りません。GPUが足りないチームでも、優先度の付け方を見直す前に「GPU時間を予算として可視化する」ことから始められます。配分の根拠が見えれば、研究の優先順位をめぐる議論は、運用の摩擦ではなく経営判断の材料になります。
出典：Impactful scheduling for GPU clusters（Ai2、Hugging Face Community Article）
関連記事
- Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
- Building AI to accelerate science and improve lives
- AI for Societal Impact
参考文献
コメント