2026-10-01 — views
野生 AI 生成網頁文字的擴展定律揭示 Token 價值偏移
為什麼值得讀 隨著 AI 生成內容飽和網路語料庫，AI 工程師必須調整預訓練策略，以應對模型在人類數據上表現下降的問題。
研究顯示，將 AI Token 加入預訓練數據初期有益，但會迅速導致人類文本流失，促使提出新的擴展定律。
野生 AI 文字的興起
網頁文字構成語言模型預訓練數據的大部分，其組成正在迅速變化。對 2026 年中期的網路數據的最新分析顯示，Pangram 標記為 AI 生成的 Token 在 6 月佔 27.5%，到 8 月上升至 31.1%。與合成數據集或受控的模型崩潰實驗不同，這種「野生」AI 文字源自多個模型，是為人類讀者撰寫的，並且在未標記的情況下進入預訓練語料庫。這種不受控制的湧入引發了關於此類數據如何影響大型語言模型訓練的關鍵問題。
Token 價值的實驗發現
為了了解這種現象的影響，研究人員預訓練了 800 個語言模型，系統性地改變新增 AI Token 與人類 Token 的比例。然後，他們對保留下來的人類和 AI 生成文本的損失擬合擴展定律。結果表明，對於數據匱乏的模型，引入 AI Token 最初會降低人類文本的損失。然而，隨著添加更多 AI Token，這種益處迅速飽和，最終逆轉為顯著的損害。
相比之下，對於使用大量人類文本預算訓練的模型，添加 AI Token 幾乎立即導致損失增加。相反，添加相同數量的新鮮人類 Token 會繼續降低損失。這些動態表明，AI Token 的價值並非靜態；它會根據訓練環境改變符號。現有的擴展定律，例如 Hoffman 等人 (2022) 提出的定律，無法預測這種複雜的行為。
新的擴展定律與建議
該研究提出了一項新的擴展定律，其中包括單獨的益處和損害項。該模型允許 AI Token 的價值改變符號，同時在沒有 AI 文本的情況下仍退化為 Chinchilla 擴展定律。當在較小的模型上擬合時，這一新定律預測了 AI 文本對高達 3.6 倍大模型的保留人類文本損失的影響，在所有 AI 比例下，其誤差比現有的最佳定律低 41%。
作者為從業者提供了具體建議。當目標是人類文本時，他們建議從訓練語料庫中過濾掉 AI 文本。或者，開發人員應在通過 AI 生成的網頁文本擴展訓練數據集之前，重複使用人類文本。此外，應分別報告人類和 AI 文本的驗證損失。該研究指出，當目標是 AI 文本時，AI 文本仍然具有價值。為了支持進一步的研究，該團隊發布了 WildAI，這是一個包含 AI、主題和格式標籤的 83B Token 語料庫，以及 800 個訓練好的模型和代碼。
實戰筆記
開發人員在優化人類文本性能時，應對 AI 生成的內容實施嚴格過濾，或者在納入合成網頁文本之前，對現有的人類數據進行過採樣。始終分別監控人類和 AI 文本的驗證損失，以檢測由 AI Token 飽和引起的性能下降的早期跡象。