野生AI生成网络文本的缩放定律揭示Token价值偏移
为什么值得读 随着AI生成内容在网络语料库中饱和，AI工程师必须调整预训练策略，以应对模型在人类数据上性能下降的问题。
研究表明，在预训练数据中添加AI生成的Token起初有助于降低损失，但会迅速导致人类文本信息丢失。研究提出新缩放定律，指出AI Token价值随训练上下文动态变化，对数据稀缺模型初期有益但后期有害，对大数据模型则直接有害。
为什么值得读 随着AI生成内容在网络语料库中饱和，AI工程师必须调整预训练策略，以应对模型在人类数据上性能下降的问题。
研究表明，在预训练数据中添加AI生成的Token起初有助于降低损失，但会迅速导致人类文本信息丢失。研究提出新缩放定律，指出AI Token价值随训练上下文动态变化，对数据稀缺模型初期有益但后期有害，对大数据模型则直接有害。