タグ · #optimization

BeNice!：KV共有によりループ型モデルの推論・メモリギャップを解消

読む理由この手法は、キーバリューキャッシュの再利用により、制約のあるハードウェアでもより長いコンテキストと高いスループットを実現し、ループ型アーキテクチャにおける重要なメモリボトルネックを解決する。

研究者は、ループ型モデルでのKVキャッシュ共有を可能にするBeNice!を提案し、品質低下なしにメモリ使用量を削減し、推論スループットを向上させた。

読む理由新規量子化技術によりメモリ帯域幅のボトルネックを解消し、長文コンテキスト推論を最適化します。

WUSH-KVは、データ適応変換を用いてKVキャッシュのメモリコストを削減し、2ビット量子化でも低いパープレキシティを実現します。

読む理由開発者は、高価なファインチューニングやパラメータ更新を行わずに、モデルの整合性と報酬スコアを改善でき、元のモデルの能力を維持できます。

MISVO手法は、凍結された言語モデルの事前ロジットベクトルを通じてステアリングを行い、局所的なKL幾何学を用いて報酬最適化と生成品質のバランスを取ります。

読む理由拡散ベースの言語モデルを扱う研究者やエンジニアは、この学習不要の加速フレームワークを採用することで、推論レイテンシとメモリオーバーヘッドを大幅に削減できる。

Flash-dLLMは、補助モデルを用いずに拡散LLMを高速化するためのI/O対応融合KVキャッシュカーネルと並列デコーディング戦略を導入する。

読む理由このコンパイラアプローチはカーネル起動オーバーヘッドを排除し、CPUが従来優位だった大規模ゲームにおいてもGPUでのCFRを現実的なものにする。

GPU-CFRはゲーム木を静的データフローにコンパイルし、既存のGPU実装比最大80倍の高速化を実現し、CPUベースラインも凌駕する。