タグ · #looped-models

BeNice!：KV共有によりループ型モデルの推論・メモリギャップを解消

読む理由 この手法は、キーバリューキャッシュの再利用により、制約のあるハードウェアでもより長いコンテキストと高いスループットを実現し、ループ型アーキテクチャにおける重要なメモリボトルネックを解決する。

研究者は、ループ型モデルでのKVキャッシュ共有を可能にするBeNice!を提案し、品質低下なしにメモリ使用量を削減し、推論スループットを向上させた。