2026-10-01 — views
Wild AI生成Webテキストのスケーリング法則はトークン価値のシフトを示す
読む理由 AIエンジニアは、AI生成コンテンツがWebコーパスを飽和させるにつれて、人間データへのモデルパフォーマンスに影響を与えるため、事前トレーニング戦略を調整する必要がある。
AIトークンの追加は初期利益をもたらすが、人間テキストの損失を迅速に悪化させ、新しいスケーリング法則を必要とする。
Wild AIテキストの台頭
Webテキストは言語モデルの事前トレーニングデータの大部分を構成しており、その構成は急速に変化している。2026年中頃のWebデータに関する最近の分析では、PangramによってAI生成とラベル付けされたトークンの割合が6月に27.5%、8月には31.1%に上昇していることが明らかになった。合成データセットや制御されたモデル崩壊実験とは異なり、この「野生」AIテキストは多数のモデルから生成され、人間読者を対象として記述されており、ラベルなしで事前トレーニングコーパスに流入する。この制御不能な流入は、このようなデータが大規模言語モデルのトレーニングにどのように影響するかという重要な問いを提起する。
トークン価値に関する実験的発見
この現象の影響を理解するために、研究者たちは800個の言語モデルを事前トレーニングし、追加されるAIトークンと人間トークンの比率を体系的に変化させた。その後、人間テキストとAI生成テキストの両方に対するホールドアウト損失にスケーリング法則を当てはめた。結果は、データ飢餓状態のモデルでは、AIトークンを導入することで最初に人間テキストの損失が低下することを示している。しかし、この利点はAIトークンがさらに追加されるにつれてすぐに飽和し、最終的には顕著な害へと逆転する。
一方、人間テキストの大量でトレーニングされたモデルでは、AIトークンの追加は損失をほぼ直ちに上昇させる。逆に、同じ数の新鮮な人間トークンを追加することは、損失を引き下げ続ける。これらの動態は、AIトークンの価値が静的ではないことを示しており、トレーニングの文脈に応じて符号が変化し得る。Hoffmanら（2022）などの既存のスケーリング法則は、この複雑な挙動を予測できない。
新しいスケーリング法則と推奨事項
本研究は、個別の利益項と害項を含む新しいスケーリング法則を提案する。このモデルは、AIテキストがない場合にChinchillaスケーリング法則に還元しつつ、AIトークンの価値が符号を変化させることを可能にする。小規模モデルに当てはめると、この新しい法則は最大3.6倍大きいモデルに対するホールドアウト人間テキスト損失へのAIテキストの影響を予測し、すべてのAI比率において既存の最良の法則よりも41%低いエラーを実現する。
著者は実務者に対して具体的な推奨事項を提供している。ターゲットが人間テキストの場合、トレーニングコーパスからAIテキストをフィルタリングすることを助言している。あるいは、開発者は、AI生成Webテキストでトレーニングデータセットを展開する前に、人間テキストを繰り返すべきである。さらに、検証損失は人間テキストとAIテキストで別々に報告されるべきである。本研究は、ターゲットがAIテキストの場合、AIテキストは依然として価値があることに注意している。さらなる研究をサポートするために、チームはAI、トピック、フォーマットラベルを含む83BトークンのコーパスWildAI、および800個のトレーニング済みモデルとコードを公開した。
実装ノート
開発者は、人間テキストのパフォーマンスを最適化する際に、AI生成コンテンツに対して厳格なフィルタリングを実装するか、あるいは合成Webテキストを組み込む前に既存の人間データをオーバーサンプリングすべきである。AIトークンの飽和によって引き起こされるパフォーマンスの低下の初期兆候を検出するために、人間テキストとAIテキストの検証損失を常に別々に監視すること。