DGX Spark デプロイメモ
NVIDIA DGX Spark / GB10 コミュニティでのローカル LLM デプロイ知見。
2026-06-10
llama.cpp b9555、Blackwell SM121向けネイティブNVFP4カーネルを搭載 — DGX Sparkの真の性能を解放
llama.cpp b9555がBlackwell SM121/GB10向けネイティブNVFP4 GEMMカーネルを搭載。FP16計算フォールバックを回避する初のビルドで、DGX Sparkのシングルユーザーデコードスループットが推定30–40%向上。
2026-06-09
GoogleがGemma 4ファミリー全体にQATチェックポイントを公開：Q4_0重みでBF16に迫る品質
2026年6月5日、GoogleはGemma 4全サイズに量子化認識訓練（QAT）チェックポイントを公開。Q4_0でE4Bは15GBから5GBへ、テキスト専用E2Bは1GB未満に。llama.cpp、Ollama、MLX、vLLM、SGLangが初日からサポート。
2026-06-08
なぜ DGX Spark の GB10 はデコード 23 tok/s なのにプリフィルは 1,884 tok/s と出るのか：帯域幅バジェットの分解
vLLM の 2026 年 6 月の DGX Spark デプロイの検証済み分解：120B NVFP4 MoE モデルはデコードが約 23 tok/s だがプリフィルは約 1,884 tok/s で、GB10 の 273 GB/s メモリ帯域幅がその差を説明する。
2026-06-08
llama.cpp がネイティブ動画入力を獲得：FFmpeg サブプロセス・デコードが mtmd スタックに着地
2026 年 6 月 8 日、llama.cpp は PR #24269 をマージし、マルチモーダル（mtmd）サブシステムにネイティブ動画入力を追加した。FFmpeg をリンクするのではなく、FFmpeg サブプロセスを呼び出してフレームをデコードし、新しい遅延ビットマップ API が単一の動画マーカーをトークン化時にデコード済みフレームへ展開する。この設計はモデル非依存であり、Qwen3-VL や Gemma-4
2026-06-08
TensorRT-LLM rc17 が SM121（DGX Spark）向けに NVFP4 MoE バックエンドと NVFP4 KV キャッシュを追加
TensorRT-LLM v1.3.0rc17（6 月 2 日）は SM120/SM121 限定で有効化される FlashInfer NVFP4 MoE バックエンドを追加し、trtllm-gen attention で NVFP4 KV キャッシュを有効化、さらに SM120/121 での qwen3 ハングも修正——DGX Spark のコンシューマ向け Blackwell に対する具体的な対応。
2026-06-07
vLLM 0.22 がマルチティア KV キャッシュのオフロードを追加：長コンテキストのローカル提供に向けて GPU から CPU、そしてディスクへ
vLLM 0.22.0（2026 年 5 月 29 日）は、キャッシュされたブロックを CPU DRAM の先からディスクへとカスケードする、マルチティア KV キャッシュのオフロードフレームワークを出荷し、Python ファイルシステム層と Mooncake ディスクバックエンドを備える。6 月 5 日のパッチでは、いくつかのモデルと AMD-CPU の修正が追加された。128K-token
2026-06-07
vLLM 公式 DGX Spark ガイド：なぜ 120B NVFP4 モデルのデコードが約 23 tok/s なのか、そしてそれが帯域幅律速のローカル推論について教えること
2026 年 6 月 1 日、vLLM プロジェクトは NVIDIA の DGX Spark（GB10 Grace Blackwell、sm_121、128 GB 統合メモリ）上で vLLM を実行する公式ガイドを公開した。vllm/vllm-openai:cu130-nightly コンテナから Nemotron-3-Super-120B-A12B-NVFP4 を提供し、デコード 22.7-23.7 tok/s、プリフィル最大約
2026-06-06
Gemma 4 のマルチトークン予測が llama.cpp に到達：自己投機的デコードがローカル推論で主流に
llama.cpp は 2026 年 5 月にネイティブのマルチトークン予測（MTP）投機的デコードをマージし（PR #22673）、Qwen3.6-27B で約 72% のドラフト受理率にて単一ストリーム生成が約 2.4 倍高速化したと報告。ドラフトヘッドは同じ GGUF から読み込まれ、独自の KV-cache を持つ。2026 年 6 月 6 日、後続の Gemma 4 MTP PR（#23398）がレビュー準備完了とされ、この手
2026-06-04
NVIDIA の6月 DGX Spark アップデート：デスクトップ機を4ノードのクラスタに
NVIDIA の6月1日 DGX Spark アップデート（DGX OS 7.5.0、ドライバ 580.159.03、NCCL 2.30u1）は Sync Cluster Assistant を追加。スイッチなしで 3 台、スイッチありで 4 台の Spark をマルチノード推論クラスタに連結できる。
2026-05-29
Triton の FP8 バイパスが DGX Spark の GB10 から NVFP4 の速度をさらに 17% 引き出す
コミュニティのパッチが NVFP4 の重みを遅い BF16 フォールバックではなく GB10 の FP8 テンソルコアへ通し、DGX Spark 上の Qwen3.6-35B-A3B を 40.8 から 47.6 tok/s へ引き上げる。
2026-05-24
llama.cpp がネイティブ MTP 投機的デコードをマージ — Qwen3.6 の単一リクエストで約 2.16 倍、DGX Spark が恩恵
PR #22673 が llama.cpp にネイティブ多トークン予測（MTP）投機的デコードを追加（build b9180 以降）。GB10 DGX Spark で Qwen3.6-27B Q4_K_M の単一リクエストが 13.1 から 28.3 tok/s へ — ただし並行処理では逆に低下。
2026-05-09
DGX Spark + Mac Studio 分離サービング — GPT-OSS-120B で prefill/decode 分離により 2.8× 高速化
コミュニティパターン：DGX Spark で prefill（GPT-OSS-120B 約 1,723 tok/s）+ Mac Studio M3 Ultra で decode（819 GB/s）、Spark FP8 単機比で 2.8× エンドツーエンド高速化。
2026-05-09
Litespark 三値 CPU 推論（arXiv 2605.06485）— 9.2× TTFT、52× スループット、pip パッケージ提供
Litespark は三値 {-1,0,+1} 重み付ネットワークで FP 行列乗算を整数加減算 SIMD に置換。9.2× TTFT、52× スループット、14× メモリ削減。Pip インストール、HF 統合。
2026-05-09
llama.cpp が Gemma 4 26B-A4B NVFP4（b9080）と MiMo-V2.5 アテンションカーネル（b9085）に対応
llama.cpp b9080–b9085 がネイティブ Gemma 4 26B-A4B NVFP4（Spark で 52 tok/s、KV 用 82 GB 空き）と d_kq=192/d_v=128 GQA 形状向け MiMo-V2.5 flash-attention タイルに対応。
2026-05-09
TensorRT-LLM v1.3.0rc14 — Qwen3.5 NVFP4 ウェイト読み込み修正、Mamba ハイブリッド prefix キャッシュ有効化
TRT-LLM 1.3.0rc14（5/7）が Qwen3.5 NVFP4 weight_scales 修正、Mamba ハイブリッド prefix キャッシュ、NVFP4 weight-update、DFlash one-model spec-dec、Spark 命名 GEMM 性能 PR を追加。
2026-05-04
DGX Spark上のQwen3 MoE — NVFP4 vs FP8ベンチマークと実際に動く設定
GB10でのQwen3.6-35B-A3BとQwen3.5-122B-A10Bのコミュニティ検証済み数値：NVFP4+MTPで単一ユーザー55.9 tok/s、c=32で433 tok/s。TRITON-only MoEバックエンドの注意点とMTP+prefix-cache失敗モードを解説。
2026-05-03
DGX Spark デプロイメモ：コミュニティが 2026 Q2 に実際に踏んだ問題
NVIDIA Developer Forums で繰り返し現れる DGX Spark / GB10 のデプロイ落とし穴 6 つ（多くはハードウェアではなくソフトウェア起因）と、MoE + NVFP4 / MXFP4 についてのコミュニティ合意。
2026-05-02
GB10（SM121）でのllama.cpp NVFP4とMXFP4ビルドガイド
DGX Spark GB10（SM121）向けllama.cpp NVFP4/MXF4の完全なビルドフラグ。PR #22196マージ後、gpt-oss-120B MXF4でpp2048=1,980 tok/s、tg32=35 tok/sを達成。
2026-05-01
DGX SparkでvLLM vs llama.cpp vs Ollama — どの推論スタックを使うべきか
GB10推論スタック選択ガイド：MoE+高並列ならvLLM、MXFPプロンプト・単一ユーザーならllama.cpp、ゼロ設定開発ならOllama。NVFP4 tok/s比較付き。
2026-04-30
LiteLLM + Claude Code on DGX Spark — LANサービング設定とプロトコル変換
LiteLLMプロキシでClaude CodeのAPIコールをDGX Spark上のQwen3モデルにルーティング。設定・モデルエイリアスマッピング・レイテンシのトレードオフを解説。