タグ · #pretraining

段階的基盤モデルパイプラインを単一の統一学習アルゴリズムで置き換える

読む理由開発者は、複雑な多段階パイプラインを単一の統合トレーナーに置き換えることで、学習インフラストラクチャを簡素化できる。

研究者は、基盤モデルの学習段階を単一の尤度ベースのアルゴリズムで統合できることを実証した。

読む理由厳格なノルム制御による探索の限界を回避するMuonGSへ切り替えることで、開発者はより迅速な収束とより良い最終損失を達成できます。

新しいMuonGSオプティマイザはグラム・シュミット射影を用いて重みノルム制約を緩和し、大規模言語モデルにおける検証パープレキシティと学習速度を向上させます。

読む理由このリリースは、大規模で監査可能な合成コーパスと、その作成に使用された再利用可能なツールを提供することで、インド言語における深刻なデータの不足に対処します。

NVIDIAとAI4Bharatは、22言語に対応する2.8兆トークンのIndic前訓練コーパスと、GPU加速されたオープンなデータ生成パイプラインをリリースしました。

読む理由 AIエンジニアは、AI生成コンテンツがWebコーパスを飽和させるにつれて、人間データへのモデルパフォーマンスに影響を与えるため、事前トレーニング戦略を調整する必要がある。

AIトークンの追加は初期利益をもたらすが、人間テキストの損失を迅速に悪化させ、新しいスケーリング法則を必要とする。

読む理由焦点は採用ではなくその任務だ。「Claude で Claude の事前学習を加速する」は再帰的自己改善を職務記述として言語化したもの —— Recursive Superintelligence が $650M で追う同じループが、いまフロンティアラボ内部に編成された。

OpenAI 共同創業者で元 Tesla Autopilot AI 責任者の Andrej Karpathy が Anthropic の事前学習チームに参加（5/19）、Nick Joseph の下で。任務は Claude を使って事前学習 R&D 自体を加速すること。