arXiv 2606.02907·2026-06-07 👁️ — 회 조회

당신의 "추론 프로브"는 단지 형식을 읽고 있을 뿐일지도 모른다: 경고를 던지는 arXiv 결과

Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

새로운 arXiv 논문(2606.02907)은 Qwen3-14B의 은닉 상태에서 연역·귀납·가추 추론을 100% 정확도로 분리하는 선형 프로브가, 출처 데이터셋·선택지 수·응답 길이 같은 과제 형식 교란 요인을 통제하는 순간 우연 수준으로 무너진다는 것을 보여준다. 핵심은, 어떤 레이블을 분류해내는 프로브가 모델이 그 개념을 표상한다는 증거는 아니라는 것이다.

arxiv.org/abs/2606.02907 ↗

이 논문이 주장하는 바

해석 가능성 연구에서 흔한 수순이 있다. 동결된 LLM의 은닉 상태 위에 작은 선형 분류기(“선형 프로브”)를 훈련시키고, 그것이 개념 A와 개념 B를 높은 정확도로 분리함을 보인 뒤, 모델이 내부적으로 그 구분을 “표상한다”고 결론짓는 것이다. arXiv 프리프린트 “Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States”(2606.02907, 2026년 6월 1일 제출, cs.CL)는 이 결론이 종종 정당화되지 않는다고 주장한다.

저자들은 세 가지 추론 계열에 걸쳐 Qwen3-14B를 프로빙한다——연역(LogiQA 2.0), 귀납(ARC-Challenge), 가추(alpha-NLI)이다. 40개 층 중 제32층에서 선형 프로브는 100%의 교차검증 정확도에 도달하며, 기하 구조는 깔끔하게 분리된다. 이것은 마치 교과서적인 “모델이 추론 모드를 인코딩한다”는 결과처럼 보인다.

그런 다음 그들은 그것에 스트레스 테스트를 가한다. 이 세 데이터셋은 추론 유형뿐 아니라 표면 형식에서도 다르다. 즉, 항목이 어느 말뭉치에서 왔는지(출처 정체성), 답안 선택지가 몇 개인지(선택지 수), 응답이 얼마나 긴지(응답 길이)이다. 저자들이 은닉 상태를 이 세 교란 요인에 대해 잔차화하면——형식만으로 설명할 수 있는 분산을 제거하면——프로브 정확도는 우연 수준으로 떨어진다. “추론 모드” 방향을 따른 인과적 스티어링(causal steering)은 어떠한 기능적 효과도 만들어내지 못한다(보고된 p = 0.286). 그들의 결론은 이렇다. 그 기하 구조가 추적하던 것은 과제 형식이었지 계산적 추론 모드가 아니었으며, 기저의 추론 표상은 이 세 과제에 걸쳐 대체로 공유되는 것으로 보인다는 것이다.

왜 중요한가

이것은 출판된 다수의 해석 가능성 연구에 영향을 미치는 방법론적 지뢰다. “프로브 정확도가 높다, 따라서 그 개념은 표상된다”는 패턴은 도처에 있다——진실성 방향, 감정 뉴런, 거부 방향, 추론 유형 인코딩에 관한 주장들에서다. 만약 당신의 양성 예제와 음성 예제가 어떤 부수적인 측면(길이, 형식, 어느 벤치마크에서 왔는지, 심지어 토큰화의 별난 점까지)에서든 다르다면, 선형 프로브는 그 지름길에 들러붙어 여전히 거의 완벽한 수치를 내놓을 수 있다.

저자들이 밀어붙이는 해결책은 말하기는 간단하지만 채택하기는 불편하다. 바로 형식 탈교란을 일상적으로 수행하는 것이다. 프로브를 믿기 전에, 명백한 교란 변수에 대해 잔차화하고 다시 확인하라. 그들은 또한 건전성 검사로서 인과적 스티어링에 의존한다——이른바 개념 방향에 개입해도 행동이 변하지 않는다면, 그 방향은 아마 그 개념이 아니다. 그들이 과제별로 보고하는 내재 차원 수치(20.6, 28.5, 33.6)와, 우연에 가까운 trace-anchor 일치도(42.5% 대 33.3% 우연 수준)는 모두 같은 방향을 가리킨다. 즉, 그 분리 가능성은 구조적인 것이었지 의미적인 것이 아니었다.

유용한 심성 모형이 있다. 프로브가 측정하는 것은 디코드 가능성(decodability)이지 사용(use)이 아니다. 정보가 활성화로부터 선형으로 복원될 수 있다는 사실은, 모델이 그것에 의존하는지에 대해서도, 그것이 깔끔한 내부 개념을 반영하는지 아니면 당신이 데이터셋을 구성한 방식에서 비롯된 상관된 인공물인지에 대해서도 아무것도 말해주지 않는다.

실무자를 위한 메모

프로브를 돌리고 있다면——해석 가능성을 위해서든, “거짓말 탐지기” 분류기를 위해서든, 라우팅을 위해서든——높은 정확도 수치를 발견이 아니라 가설로 취급하라. 당신의 데이터셋을 위한 교란 요인 체크리스트를 만들고(출처, 길이, 선택지 수, 레이블 균형 잡힌 템플릿), 그것에 대해 잔차화한 뒤, 잔차 신호만을 신뢰하라. 모든 프로브 주장에 인과적 개입을 짝지어라. 그 방향을 스티어링해도 행동이 움직이지 않는다면, 당신이 가진 것은 상관이지 메커니즘이 아니다. 그리고 형식이 일치하는 음성 예제를 우선하라——같은 템플릿, 같은 길이 분포, 같은 말뭉치——그래야 변하는 것은 오직 당신이 신경 쓰는 바로 그 개념뿐이게 된다.

충분히 고려되지 않은 각도

더 깊은 불안은, 이 실패 양식이 모델 능력에 반비례하는 것이 아니라 비례하여 확대된다는 점이다. 더 큰 모델은 더 풍부한 표층 통계량을 인코딩하므로, 부수적인 형식 특징을 더 선형적으로 분리 가능하게 만들고, 이는 사람들이 가장 해석하고 싶어 하는 최전선 시스템에서 바로 그 지점에 가짜 프로브를 더 설득력 있어 보이게 만든다. 이것은 더 크고 더 좋은 모델일수록 연구하기 쉽다는 통상의 직관을 뒤집는다. 그것은 또한 프로브 위에 세워진 안전 도구——예컨대 진실성 또는 기만 분류기——에 조용한 질문을 던진다. 거기서는 깔끔한 정확도 곡선이 모델의 의도가 아니라 프롬프트의 형태를 읽고 있는 것일 수 있으며, 적대자가 형식을 통제하는 순간 소리 없이 실패할 것이다.