2026-10-14 — views
시나리오-액터: LLM을 위한 적응형 온도 선택
읽어야 하는 이유 의사소통 설정의 기하학적 표현을 사용하여 고정된 휴리스틱을 넘어설 뿐만 아니라 지시 따름 및 사회적 상황 성능을 향상시킵니다.
숨겨진 상태의 상황적 특성을 추론하여 LLM 디코딩 온도를 적응적으로 조정하는 새로운 프레임워크.
LLM의 온도 선택 재고하기
대규모 언어 모델(LLM)은 일반적으로 출력의 무작위성 양을 조절하기 위해 샘플링 온도에 의존합니다. 온도를 선택하는 주류 방법은 일반적으로 고정된 휴리스틱 전역 설정과 컨텍스트 또는 토큰 수준의 교정을 포함합니다. 이러한 접근 방식은 종종 의사소통 상황에 대한 기하학적으로 해석 가능한 표현을 결여하고 있습니다. 본 연구에서는 추론된 상황적 특성에 맞춰 디코딩을 조정하는 단순하고 해석 가능한 온도 선택 프레임워크인 Scenario-Actor를 소개합니다.
Scenario-Actor의 작동 방식
Scenario-Actor 프레임워크는 Transformer 숨겨진 상태(hidden states)에서 상황 관련 구조를 추출하여 작동합니다. 이는 의사소통 설정의 구조화된 기하학적 표현인 시나리오 임베딩(scenario embedding)으로부터 온도를 결정합니다. 이 방법은 정적 매개변수에 의존하는 대신 상호작용의 특정 컨텍스트에 기반하여 모델의 무작위성을 조정할 수 있게 해줍니다.
실험 결과
실험 결과는 이 접근 방식의 효과를 입증합니다. Llama-3.1-8B-Instruct에서 Scenario-Actor는 상호작용적 사회적 상황에서 강력한 목표 달성 성능을 달성합니다. 또한 이 프레임워크는 오픈 엔디드 지시 따름 과제에서 상당한 성능 향상을 보입니다. 더 나아가 다중 턴 대화에서 여러 베이스라인과 비교하여 경쟁력 있는 성능을 제공합니다. 이러한 발견들은 추론된 상황적 특성에 기반한 디코딩 적응이 복잡한 상호작용에서 모델 행동을 향상시킬 수 있음을 시사합니다.
모델 행동에 대한 함의
고정된 휴리스틱에서 벗어나는 것을 통해 Scenario-Actor 프레임워크는 모델 출력을 제어하는 더 미묘한 방법을 제공합니다. 시나리오 임베딩의 사용은 의사소통 설정에 대한 기하학적 해석을 제공하여 더 동적인 조정을 가능하게 합니다. 이 접근 방식은 숨겨진 상태 구조를 활용하여 LLM 출력을 특정 상황적 요구 사항과 더 잘 정렬할 수 있는 잠재력을 강조합니다.
실무자 노트
개발자는 상호작용 및 오픈 엔디드 과제에서 성능을 향상시키기 위해 디코딩 파이프라인에 상황 인식 온도 선택을 통합하는 것을 고려해야 합니다. 의사소통 설정의 기하학적 표현이 특정 사용 사례의 목표 달성 및 지시 따름에 미치는 영향을 모니터링하십시오.