段階的基盤モデルパイプラインを単一の統一学習アルゴリズムで置き換える
読む理由 開発者は、複雑な多段階パイプラインを単一の統合トレーナーに置き換えることで、学習インフラストラクチャを簡素化できる。
研究者は、基盤モデルの学習段階を単一の尤度ベースのアルゴリズムで統合できることを実証した。
タグ · #reinforcement-learning
PrismaCoder、オープンな多モーダルコード知能を進展させる
読む理由 この研究は、多モーダルコーディングにおける高品質なトレーニングデータの重要なギャップを埋め、分解されたルールの合成を通じて独自システムに匹敵するオープンモデルを提供します。
PrismaCoder-9Bおよび35Bモデルは、新規なルールベースのデータパイプラインを活用し、オープンな多モーダルコード知能ベンチマークで首位を維持しています。
NemotronモデルがIOIおよびIMOで金メダル級パフォーマンスを達成
読む理由 これは、専門的なファインチューニングと反復推論ループを組み合わせることで、外部ツールなしでオープンウェイトモデルをエリート競技レベルまで引き上げられることを示しています。
NVIDIAはNemotronモデルを微調整し、国際情報オリンピック（IOI）と国際数学オリンピック（IMO）の両方で金メダルレベルの結果を達成しました。
侵襲性の低いステアリングは再学習なしで言語モデルの出力を最適化する
読む理由 開発者は、高価なファインチューニングやパラメータ更新を行わずに、モデルの整合性と報酬スコアを改善でき、元のモデルの能力を維持できます。
MISVO手法は、凍結された言語モデルの事前ロジットベクトルを通じてステアリングを行い、局所的なKL幾何学を用いて報酬最適化と生成品質のバランスを取ります。
ExecCritic: テストと修復エージェントを分離してコーディング性能を向上させる
読む理由 テスト生成とコード修復を分離することで、エラーの一致や過信を防ぎ、エージェントの信頼性を大幅に向上させる。
ExecCriticは、SWE-bench Verifiedにおけるコーディングエージェントの成功率を向上させるため、テスト生成とコード修復の役割を分離したエージェントを強化学習で活用する。
TTPOは非対称ポリシー最適化によりラベルなし数学推論を実現
読む理由 エンジニアは、高価または入手困難な正解ラベルに頼らず、テスト時にLLMの推論能力を向上させることができます。
TTPOは多数決による疑似ラベルを用い、正解データなしでコンペティションレベルの数学ベンチマークにおいて教師あり学習と同等の性能を達成します。