2026-10-01 — views
야생 AI 생성 웹 텍스트의 스케일링 법칙은 토큰 가치의 변화를 드러낸다
읽어야 하는 이유 AI 생성 콘텐츠가 웹 코퍼스를 포화시키면서 AI 엔지니어는 인간 데이터에 대한 모델 성능에 영향을 미치는 전학습 전략을 조정해야 한다.
AI 토큰 추가는 초기에는 도움이 되지만 빠르게 인간 텍스트 손실을 초래하여 새로운 스케일링 법칙이 필요함을 연구가 입증했다.
야생 AI 텍스트의 부상
웹 텍스트는 언어 모델의 전학습 데이터 대부분을 구성하며, 그 구성은 빠르게 변화하고 있다. 2026년 중반 웹 데이터의 최근 분석에 따르면, 6월 토큰의 27.5%가 Pangram에 의해 AI 생성으로 분류되었으며, 이 수치는 8월까지 31.1%로 증가했다. 합성 데이터셋이나 통제된 모델 붕괴 실험과 달리, 이러한 ‘야생’ AI 텍스트는 수많은 모델에서 유래하며 인간 독자를 위해 작성되었고, 레이블 없이 전학습 코퍼스에 유입된다. 이러한 통제되지 않은 유입은 이러한 데이터가 대규모 언어 모델의 훈련에 어떤 영향을 미치는지에 대해 중요한 질문을 제기한다.
토큰 가치에 대한 실험적 발견
이러한 현상의 영향을 이해하기 위해 연구자들은 800개의 언어 모델을 전학습했으며, 추가된 AI 토큰과 인간 토큰의 비율을 체계적으로 변화시켰다. 그런 다음 인간 텍스트와 AI 생성 텍스트 모두에 대한 홀드아웃 손실에 스케일링 법칙을 적합시켰다. 결과는 데이터가 부족한 모델의 경우, AI 토큰을 도입하면 초기에 인간 텍스트의 손실을 낮춘다는 것을 나타낸다. 그러나 더 많은 AI 토큰이 추가됨에 따라 이 이점은 빠르게 포화되고 결국 상당한 해로로 전환된다.
반면, 인간 텍스트로 높은 예산을 사용하여 훈련된 모델의 경우, AI 토큰의 추가는 거의 즉시 손실을 증가시킨다. 반면, 동일한 수의 새로운 인간 토큰을 추가하면 손실이 계속 낮아진다. 이러한 역동성은 AI 토큰의 가치가 정적이지 않으며 훈련 컨텍스트에 따라 부호가 바뀔 수 있음을 보여준다. Hoffman 등(2022)의 기존 스케일링 법칙은 이러한 복잡한 행동을 예측하지 못한다.
새로운 스케일링 법칙 및 권장 사항
이 연구는 별도의 이득 및 해 항목을 포함하는 새로운 스케일링 법칙을 제안한다. 이 모델은 AI 텍스트가 없는 경우 Chinchilla 스케일링 법칙으로 감소하면서도 AI 토큰의 값이 부호를 변경할 수 있도록 한다. 작은 모델에 적합할 때, 이 새로운 법칙은 최대 3.6배 더 큰 모델에 대한 홀드아웃 인간 텍스트 손실에 대한 AI 텍스트의 영향을 예측하며, 모든 AI 비율에 걸쳐 기존 최고 법칙보다 41% 낮은 오차를 달성한다.
저자들은 실무자를 위한 구체적인 권장 사항을 제공한다. 목표가 인간 텍스트인 경우, 훈련 코퍼스에서 AI 텍스트를 필터링할 것을 조언한다. 또는 개발자는 AI 생성 웹 텍스트로 훈련 데이터셋을 확장하기 전에 인간 텍스트를 반복해야 한다. 또한 검증 손실은 인간 텍스트와 AI 텍스트에 대해 별도로 보고해야 한다. 이 연구는 목표가 AI 텍스트일 때 AI 텍스트는 여전히 가치 있다고 언급한다. 추가 연구를 지원하기 위해 팀은 AI, 주제 및 형식 레이블이 포함된 83B 토큰 코퍼스인 WildAI와 함께 800개의 훈련된 모델과 코드를 공개했다.
실무자 노트
개발자는 인간 텍스트 성능을 최적화할 때 AI 생성 콘텐츠에 대해 엄격한 필터링을 구현하거나, 합성 웹 텍스트를 통합하기 전에 기존 인간 데이터를 과잉 샘플링해야 한다. AI 토큰 포화로 인한 성능 저하의 초기 징후를 감지하기 위해 항상 인간 텍스트와 AI 텍스트에 대해 검증 손실을 별도로 모니터링해야 한다.