タグ · #llm

MuonGSはグラム・シュミット射影を用いてLLM事前学習の効率を向上

読む理由厳格なノルム制御による探索の限界を回避するMuonGSへ切り替えることで、開発者はより迅速な収束とより良い最終損失を達成できます。

新しいMuonGSオプティマイザはグラム・シュミット射影を用いて重みノルム制約を緩和し、大規模言語モデルにおける検証パープレキシティと学習速度を向上させます。

28 OCT 3 分鐘実装ノート llm optimizers pretraining muon

BeNice!：KV共有によりループ型モデルの推論・メモリギャップを解消

読む理由この手法は、キーバリューキャッシュの再利用により、制約のあるハードウェアでもより長いコンテキストと高いスループットを実現し、ループ型アーキテクチャにおける重要なメモリボトルネックを解決する。

研究者は、ループ型モデルでのKVキャッシュ共有を可能にするBeNice!を提案し、品質低下なしにメモリ使用量を削減し、推論スループットを向上させた。

24 OCT 3 分鐘実装ノート llm inference memory optimization

Scenario-Actor: LLMのための適応的温度選択

読む理由固定的なヒューリスティクスを超え、コミュニケーション設定の幾何学的表現を用いて、指示のフォローや社会的シナリオのパフォーマンスを向上させる。

隠れ状態から推測された状況特性に基づき、LLMのデコーディング温度を適応的に調整する新しいフレームワーク。

14 OCT 2 分鐘実装ノート llm temperature decoding transformer

WUSH-KV: 低ビットKVキャッシュ量子化のためのデータ適応変換

読む理由新規量子化技術によりメモリ帯域幅のボトルネックを解消し、長文コンテキスト推論を最適化します。

WUSH-KVは、データ適応変換を用いてKVキャッシュのメモリコストを削減し、2ビット量子化でも低いパープレキシティを実現します。

30 SEP 3 分鐘実装ノート quantization llm inference memory

SemMSA: 不完全データによる堅牢なマルチモーダル感情分析

読む理由このフレームワークは、再構築ではなく潜在意味論を用いることで、MSAにおける一般的なモダリティ欠損の問題を解決し、実世界アプリケーションのための堅牢な代替案を提供する。

SemMSAは、LLMとスペクトルアライメントを活用し、欠損データ環境下での感情分析を強化し、最先端の結果を達成する。

25 SEP 3 分鐘実装ノート mmsa llm spectral-alignment incomplete-data

SWE-Fluxベンチマークが明らかにする、ランタイム推論における大規模言語モデルの苦戦

読む理由 LLMは依然としてランタイム動作の推論が苦手である。SWE-Fluxは、実際のPythonリポジトリ全体にわたるこのギャップを測定するための厳密で自動化されたベンチマークを提供する。

新しいリポジトリレベルのベンチマークSWE-Fluxは、トップLLMが動的実行推論タスクでわずか37%の精度しか達成できないことを示した。

24 SEP 3 分鐘実装ノート llm benchmark runtime python

Flash-dLLM: 高速でメモリ効率的な拡散LLMのためのI/O対応KVキャッシュと並列デコーディング

読む理由拡散ベースの言語モデルを扱う研究者やエンジニアは、この学習不要の加速フレームワークを採用することで、推論レイテンシとメモリオーバーヘッドを大幅に削減できる。

Flash-dLLMは、補助モデルを用いずに拡散LLMを高速化するためのI/O対応融合KVキャッシュカーネルと並列デコーディング戦略を導入する。

23 SEP 3 分鐘実装ノート llm diffusion gpu optimization

LoRA生成ハイパーネットワークによるオンデバイスLLMパーソナライゼーションの効率化

読む理由このアプローチは、軽量なLoRA重みをローカルで合成することで、オンデバイスLLMの計算量とレイテンシの制約を解決し、クラウド依存なしで高品質なパーソナライゼーションを可能にします。

ハイパーネットワークを用いてオンデバイスでパーソナライズされたLoRAアダプターを生成し、ICLのレイテンシとPEFTのストレージコストのバランスを取る新手法。

22 SEP 3 分鐘実装ノート llm personalization lora on-device

SWE-Gateベンチマークが、テスト合格と実世界のコード承認の間のギャップを明らかに

読む理由開発者は、機能的成功がデプロイ可能なコード品質に等しいわけではないことを認識する必要がある。

新ベンチマークSWE-Gateは、コーディングエージェントが機能テストに合格しても、レビュー制約を満たせないことが多くあることを示している。

04 SEP 3 分鐘実装ノート benchmarks llm software-engineering code-review

TTPOは非対称ポリシー最適化によりラベルなし数学推論を実現

読む理由エンジニアは、高価または入手困難な正解ラベルに頼らず、テスト時にLLMの推論能力を向上させることができます。

TTPOは多数決による疑似ラベルを用い、正解データなしでコンペティションレベルの数学ベンチマークにおいて教師あり学習と同等の性能を達成します。

29 AUG 3 分鐘実装ノート llm reinforcement-learning test-time-training math-reasoning

SWE-Prime：少ない軌跡でモデル性能を向上させる

読む理由開発者は注意すべきです。ノイズの多い教師付けは、モデルに望ましくない問題解決行動を模倣させる可能性があります。

新しい手法 SWE-Prime は、大規模言語モデルが現実世界のソフトウェア問題を解決する能力を向上させるために、トレーニングデータをフィルタリングします。

28 AUG 2 分鐘実装ノート llm software training sft

LLMエージェントにおけるタスク間スキル転移：サブタスクとテキストの利点

読む理由自律型エージェントを開発する際、メモリをテキスト形式のサブタスクとして構造化することで信頼性を向上させられる。提案されたユーティリティスコアは、有効なスキルをフィルタリングする実行前診断として機能する。

LLMエージェントのスキル転移において、サブタスクレベルでの誘導とテキスト形式が信頼性を高め、タスクレベルやコードベース手法を上回ることを実証。

22 AUG 3 分鐘実装ノート llm agents skill-transfer memory

MidTool: 中間学習を通じてエージェント機能を強化する

読む理由本研究は、堅牢なエージェントツール使用のために専用中間学習が不可欠であることを示し、LLMに対してポストトレーニング手法のみを頼るよりも優れた代替案を提供します。

MidToolは、Webデータと合成API監督を組み合わせる中間学習パイプラインにより、Qwen3モデルの汎用ツール使用能力を大幅に向上させます。

22 AUG 2 分鐘実装ノート mid-training tool-use llm agentic-ai

OpenAI が GPT-5.6 Sol／Terra／Luna をプレビュー——米政府のアクセス審査の壁の向こうに

読む理由モデルは政策より先に準備が整った。OpenAIの供給能力ではなく政府の承認がフロンティアモデルの公開を制御する——ビルダーが今後も目にするであろう新しいガバナンスの型だ。

OpenAIは6月26日にGPT-5.6 Sol／Terra／Lunaを発表——SolはTerminal-Bench 2.1で91.9%を記録するが、アクセスは米政府承認済みの約20社に限定される。

30 JUN 4 分鐘実装ノート openai gpt-5.6 frontier-model llm

Zhipu AI が GLM-5.2 のオープンウェイトを公開：100万トークンコンテキスト、コスト GPT-5.5 の6分の1でトップのオープンソースコーディングモデル

読む理由オープンウェイトと最前線のクローズドモデルとの差は、いまや一桁のベンチマークポイントで測られる。セルフホストする開発者にとって、GLM-5.2 はエージェント型コーディングの「自作か購入か」の計算を変える。

Z.ai は6月17日に GLM-5.2 を MIT ライセンスで公開——7,530億パラメータの MoE で100万トークンのコンテキストを持ち、オープンソースのコーディングベンチマークで首位、コストは GPT-5.5 の約6分の1。

17 JUN 4 分鐘実装ノート zhipu glm open-weights coding

GoogleがGemini 3.5 Proを最終プレビューへ：200万トークンコンテキストとDeep Think推論

読む理由料金体系と無料試用期間が開発者が最初に確認すべき点。100万トークンあたり入力$15・出力$60という価格設定は、試用ではなく本格利用を想定している。

Gemini 3.5 ProがVertex AIエンタープライズの最終プレビューに入り、200万トークンのコンテキストウィンドウとDeep Think推論を搭載。2026年6月中のGA一般公開が目前。

10 JUN 2 分鐘実装ノート google gemini frontier-model multimodal

Anthropic が Claude Fable 5 を出荷：一般ユーザーがついに触れる Mythos 級フロンティアモデル

読む理由一つのフロンティアモデルに二つのリリース形態：ガードレール付きの公開版と、制限付きの完全版。ビルダーがまず確認すべきは価格、無料期間、安全分類器のフォールバック挙動だ。

Anthropic が初の一般公開 Mythos 級モデル Claude Fable 5 をリリース。価格は 100 万トークンあたり入力 $10／出力 $50。制限解除版 Mythos 5 は審査済みパートナー限定。

09 JUN 6 分鐘実装ノート anthropic claude fable-5 mythos-5

マイクロソフトが自社製コーディングモデルを GitHub Copilot に投入：MAI-Code-1-Flash がビルダーにとって意味するもの

読む理由 GitHub Copilot に入り浸っているなら、今週カーソル下のデフォルトモデルが密かに変わっているかもしれない。実際に何が出荷され、どう見分けるかを解説する。

マイクロソフトは Build 2026 で 5B の自社製コーディングモデルを VS Code に投入し、35B の推論モデルも出荷した——いずれも OpenAI の蒸留なしで訓練。

08 JUN 7 分鐘 microsoft github-copilot coding-models llm

マイクロソフト、OpenAI への依存を減らすため、初の推論モデルを含む 7 つの自社製 MAI モデルを発表

読む理由大手プラットフォームの所有者が自社の推論モデルを出荷し、それを OpenAI への支払いを減らす手段だと公然と位置づけることは、単なる製品の投下ではなく構造的な話だ——それはフロンティアモデルのサプライチェーン全体を再価格付けする。

6 月 2 日の Build 2026 で、マイクロソフトはコストを下げ OpenAI への依存を減らすため、推論モデル MAI-Thinking-1 を筆頭に、ゼロから構築した 7 つの MAI モデルを出荷した。

07 JUN 5 分鐘 microsoft mai reasoning-models openai

DeepSeek V4・Kimi K2.6・GLM-5.1・MiniMax M2.7：フロンティア級コーディングが 5〜25 倍低コストで

中国の 4 ラボが 12 日間でフロンティア級コーディングモデルを出荷。GLM-5.1（MIT）が SWE-Bench Pro で Kimi K2.6 と 58.4% で並ぶ。コスト差は西側 API の 5〜25 分の 1。

07 MAY 2 分鐘実装ノート open-weights deepseek llm coding-models