2026-10-14 — views
Scenario-Actor: LLMのための適応的温度選択
読む理由 固定的なヒューリスティクスを超え、コミュニケーション設定の幾何学的表現を用いて、指示のフォローや社会的シナリオのパフォーマンスを向上させる。
隠れ状態から推測された状況特性に基づき、LLMのデコーディング温度を適応的に調整する新しいフレームワーク。
LLMにおける温度選択の再考
大規模言語モデル（LLM）は一般に、出力のランダム性の量を制御するためにサンプリング温度に依存しています。温度選択の主流方法は、通常、固定的なヒューリスティックなグローバル設定や、コンテキストまたはトークンレベルのキャリブレーションを含みます。これらのアプローチは、コミュニケーションシナリオの幾何学的に解釈可能な表現を欠いていることが多いです。本研究では、推測された状況特性に応じてデコーディングを適応させる、シンプルで解釈可能な温度選択フレームワークであるScenario-Actorを紹介します。
Scenario-Actorの動作原理
Scenario-Actorフレームワークは、Transformerの隠れ状態からシナリオ関連の構造を抽出することで動作します。これは、コミュニケーション設定の構造化された幾何学的表現であるシナリオ埋め込みから温度を決定します。この方法により、モデルは静的なパラメータに依存するのではなく、相互作用の特定のコンテキストに基づいてランダム性を調整できます。
実証結果
実証結果は、このアプローチの有効性を示しています。Llama-3.1-8B-Instructにおいて、Scenario-Actorはインタラクティブな社会的シナリオで強力なゴール達成パフォーマンスを達成します。また、このフレームワークは、自由形式の指示フォロータスクでも顕著な向上を示しています。さらに、複数のベースラインと比較して、マルチターン会話においても競争力のあるパフォーマンスを提供します。これらの知見は、推測された状況特性に基づいてデコーディングを適応させることが、複雑な相互作用におけるモデルの動作を向上させる可能性を示唆しています。
モデル動作への示唆
固定的なヒューリスティクスから離れることで、Scenario-Actorフレームワークはモデル出力を制御するためのより微妙な方法を提供します。シナリオ埋め込みの使用は、コミュニケーション設定の幾何学的解釈を提供し、より動的な調整を可能にします。このアプローチは、隠れ状態の構造を活用して、LLMの出力を特定の状況要件に合わせることの潜在性を浮き彫りにします。
実装ノート
開発者は、インタラクティブおよび自由形式のタスクにおけるパフォーマンスを向上させるため、デコーディングパイプラインに状況認識型の温度選択を組み込むことを検討すべきです。特定のユースケースにおけるゴール達成や指示フォローに対して、コミュニケーション設定の幾何学的表現がどのように影響するかを監視してください。