统一训练算法取代分阶段基础模型流水线
为什么值得读 开发者可通过用单一统一训练器取代复杂的多阶段流水线来简化训练基础设施。
研究人员证明，基础模型的训练阶段可在单一基于似然度的算法下统一，从而简化训练基础设施。
标签 · #pretraining
MuonGS 利用 Gram-Schmidt 投影提升大语言模型预训练效率
为什么值得读 开发者可通过切换至 MuonGS 实现更快的收敛和更低的最终损失，该优化器避免了严格范数控制带来的探索局限。
新型 MuonGS 优化器采用 Gram-Schmidt 投影放宽权重范数约束，在保持训练速度的同时显著降低大语言模型的验证困惑度，实现更优收敛。
NVIDIA 与 AI4Bharat 发布 2.8 万亿 Indic 令牌及开放流水线
为什么值得读 此次发布通过提供大规模、可审计的合成语料库及用于创建它的可重用工具，解决了印度语言中关键的数据稀缺问题。
NVIDIA 与 AI4Bharat 发布包含 2.8 万亿令牌的 Indic 预训练语料库及面向 22 种语言的开放 GPU 加速数据生成流水线，涵盖 97% 印度人口使用的语言，旨在解决数据稀缺问题。
野生AI生成网络文本的缩放定律揭示Token价值偏移
为什么值得读 随着AI生成内容在网络语料库中饱和，AI工程师必须调整预训练策略，以应对模型在人类数据上性能下降的问题。
研究表明，在预训练数据中添加AI生成的Token起初有助于降低损失，但会迅速导致人类文本信息丢失。研究提出新缩放定律，指出AI Token价值随训练上下文动态变化，对数据稀缺模型初期有益但后期有害，对大数据模型则直接有害。
Andrej Karpathy 加入 Anthropic —— 用 Claude 加速 Claude 的预训练
为什么值得读 重点是任务，不是这次招募。「用 Claude 加速 Claude 的预训练」是把递归自我改进写成职务说明 —— 与 Recursive Superintelligence 募资 $650M 追逐的同一个循环，如今被放进前沿实验室内部编制。
OpenAI 联合创始人、前 Tesla Autopilot AI 负责人 Andrej Karpathy 加入 Anthropic 预训练团队（5/19），向 Nick Joseph 汇报。任务：用 Claude 加速预训练研发本身。