2026-10-01 — views
野生AI生成网络文本的缩放定律揭示Token价值偏移
为什么值得读 随着AI生成内容在网络语料库中饱和，AI工程师必须调整预训练策略，以应对模型在人类数据上性能下降的问题。
研究表明，在预训练数据中添加AI生成的Token起初有助于降低损失，但会迅速导致人类文本信息丢失。研究提出新缩放定律，指出AI Token价值随训练上下文动态变化，对数据稀缺模型初期有益但后期有害，对大数据模型则直接有害。
野生AI文本的兴起
网络文本构成了语言模型预训练数据的大部分，其组成正在迅速变化。对2026年中期的网络数据分析显示，Pangram标记为AI生成的Token在6月占27.5%，到8月这一比例上升至31.1%。与合成数据集或受控的模型崩溃实验不同，这种“野生”AI文本源自众多模型，是为人类读者撰写的，并且未经标记地进入预训练语料库。这种不受控制的涌入引发了关于此类数据如何影响大型语言模型训练的关键问题。
关于Token价值的实验发现
为了理解这种现象的影响，研究人员预训练了800个语言模型，系统地改变了添加的AI Token与人类Token的比例。随后，他们对保留的人类文本和AI生成文本的损失拟合了缩放定律。结果表明，对于数据匮乏的模型，引入AI Token起初会降低人类文本的损失。然而，随着添加更多AI Token，这种益处迅速饱和，并最终逆转造成显著损害。
相比之下，对于使用大量人类文本进行训练的模型，添加AI Token几乎立即导致损失上升。相反，添加相同数量的新鲜人类Token会继续降低损失。这些动态表明，AI Token的价值并非静态的；它可以根据训练上下文改变符号。现有的缩放定律（如Hoffman等人（2022）提出的）无法预测这种复杂行为。
新的缩放定律与建议
该研究提出了一种新的缩放定律，其中包括单独的收益项和损害项。该模型允许AI Token的价值改变符号，同时在没有AI文本的情况下退化为Chinchilla缩放定律。在较小模型上进行拟合时，该新定律预测了AI文本对高达3.6倍更大模型的人类文本保留损失的影响，在所有AI比例下，其误差比最佳现有定律低41%。
作者为从业者提供了具体建议。当目标是人类文本时，他们建议从训练语料库中过滤掉AI文本。或者，开发者应在用AI生成的网络文本扩展训练数据集之前，重复使用人类文本。此外，应分别报告人类文本和AI文本的验证损失。该研究指出，当目标是AI文本时，AI文本仍然有价值。为了支持进一步的研究，团队发布了WildAI，这是一个包含AI、主题和格式标签的83B Token语料库，以及800个训练好的模型和代码。
实务笔记
在优化人类文本性能时，开发者应对AI生成的内容实施严格过滤，或者在纳入合成网络文本之前对现有人类数据进行过采样。始终分别监控人类文本和AI文本的验证损失，以检测由AI Token饱和引起的性能下降的早期迹象。