タグ · #gpu

Ai2、優先度スケジューリングに代えてGPU時間予算を導入し『共有地の悲劇』を解決

読む理由このケーススタディは、時間予算といった経済的インセンティブが、共有GPUクラスターにおけるリソースの占有や優先度のインフレといった技術的なスケジューリング問題をいかに解決できるかを示している。

Ai2は、優先度ベースの flawed なスケジューラから、GPU時間予算と階層型フェアシェア方式を採用するシステムへ移行し、クラスターの占有率向上と研究への影響を改善した。

読む理由拡散ベースの言語モデルを扱う研究者やエンジニアは、この学習不要の加速フレームワークを採用することで、推論レイテンシとメモリオーバーヘッドを大幅に削減できる。

Flash-dLLMは、補助モデルを用いずに拡散LLMを高速化するためのI/O対応融合KVキャッシュカーネルと並列デコーディング戦略を導入する。

読む理由このコンパイラアプローチはカーネル起動オーバーヘッドを排除し、CPUが従来優位だった大規模ゲームにおいてもGPUでのCFRを現実的なものにする。

GPU-CFRはゲーム木を静的データフローにコンパイルし、既存のGPU実装比最大80倍の高速化を実現し、CPUベースラインも凌駕する。