統一訓練演算法取代分階段基礎模型流程
為什麼值得讀 開發者可透過以單一統一訓練器取代複雜的多階段流程，簡化訓練基礎設施。
研究顯示基礎模型訓練階段可透過單一似然演算法整合，簡化多階段流程並提升效能與持續學習能力。
標籤 · #pretraining
MuonGS 利用 Gram-Schmidt 投影提升 LLM 預訓練效率
為什麼值得讀 開發者透過改用 MuonGS 可實現更快的收斂速度與更低的最終損失，因為它避免了嚴格範數控制所帶來的探索限制。
新型 MuonGS 最佳化器採用 Gram-Schmidt 投影放寬權重範數限制，提升大型語言模型的驗證困惑度與訓練速度，並透過放寬約束實現更優探索。
NVIDIA 與 AI4Bharat 發布 2.8 兆 Indic 詞彙與開放管線
為什麼值得讀 此發布透過提供龐大、可審計的合成語料庫及可重複使用的創建工具，解決了印度語言中關鍵的數據匱乏問題。
NVIDIA 與 AI4Bharat 發布涵蓋 22 種語言的 2.8 兆詞彙 Indic 預訓練語料庫及開放 GPU 加速資料生成管線，由 IIT Madras 協作開發，旨在解決印度語言技術的數據匱乏問題。
野生 AI 生成網頁文字的擴展定律揭示 Token 價值偏移
為什麼值得讀 隨著 AI 生成內容飽和網路語料庫，AI 工程師必須調整預訓練策略，以應對模型在人類數據上表現下降的問題。
研究顯示，將 AI Token 加入預訓練數據初期有益，但會迅速導致人類文本流失，促使提出新的擴展定律。
Andrej Karpathy 加入 Anthropic —— 用 Claude 加速 Claude 的預訓練
為什麼值得讀 重點是任務，不是這次招募。「用 Claude 加速 Claude 的預訓練」是把遞迴自我改進寫成職務說明 —— 與 Recursive Superintelligence 募資 $650M 追逐的同一個迴圈，如今被放進前沿實驗室內部編制。
OpenAI 共同創辦人、前 Tesla Autopilot AI 負責人 Andrej Karpathy 加入 Anthropic 預訓練團隊（5/19），向 Nick Joseph 報告。任務：用 Claude 加速預訓練研發本身。