タグ · #mobile

LoRA生成ハイパーネットワークによるオンデバイスLLMパーソナライゼーションの効率化

読む理由 このアプローチは、軽量なLoRA重みをローカルで合成することで、オンデバイスLLMの計算量とレイテンシの制約を解決し、クラウド依存なしで高品質なパーソナライゼーションを可能にします。

ハイパーネットワークを用いてオンデバイスでパーソナライズされたLoRAアダプターを生成し、ICLのレイテンシとPEFTのストレージコストのバランスを取る新手法。