llama.cpp v0.4.0公開 — Qwen3.8-Flash-Nextの初期対応と遅延テンソル読み込み、ggml 0.23.0へ更新

ローカルLLM推論の定番エンジン llama.cpp が2026年9月4日（UTC）、安定版 v0.4.0 を公開した。前回 v0.3.0 からの差分として整理されたマイナーバージョンアップで、Qwen3.8-Flash-Nextの初期対応、Nemotron系の新規サポート、遅延テンソル読み込み、サーバーのスロット別コンテキスト上限、動画入力オプション、そして ggml v0.23.0 への更新を柱とする。いずれも一次情報であるGitHubリリースノートの記載範囲で整理する。

新モデル対応 — Qwen3.8-Flash-Next、Nemotron-3-Puzzle、DSpark

• Qwen3.8-Flash-Next（qwen4exp）: 新アーキテクチャの初期サポートを追加。リリースノートでは最適化の改善は今後の課題と明記されており、動作確認・基盤対応の段階だ。関連してQwen4exp向けのグラフ修正、recurrent stateのロールバック、indexer headの集約、graph split削減も含まれる。
• NVIDIA Nemotron-3-Puzzle-75B-A9B: 新モデル NemotronHPuzzle のサポートを追加。Nemotron 3.5 向けには DSpark 対応も追加され、GGUF変換時のLightning層の修正とあわせて取り込まれた。
• nanbeige4.2-3B: 小規模モデルの新規サポートも追加。
• DeepSeek-V4 / GLM 系: スパースflash attentionの追加、DeepSeek-V4の入力vision対応、DeepSeek-V4-Flash-Vision-Expの追加など、既存の大規模MoE系アーキテクチャの対応も継続して強化された。Gemma-4のvision周りの修正も含まれる。

コアとメモリ — 遅延読み込み、KVキャッシュ、量子化の効率化

• 遅延テンソル読み込み: 新API llama_lazy_mode と lazy_mode を追加し、CLIオプション --lazy-mode（短縮形 -lzm） でオンデマンド読み込みが可能に。モデルロード段階のRAM spikeを抑える修正とあわせて、大規模モデルの起動時メモリ負荷を下げる方向だ。
• KVキャッシュ: KVセル単位のトークン追跡を追加（セッション／状態のバージョンが上がっているため、旧状態との互換性に注意）。n-gram履歴ルックアップ、非連続セルの復元最適化、シーケンス走査の早期打ち切りで推論時のオーバーヘッドを削減。
• 量子化: 作業メモリサイズの上限（max_buf_size）とrow-slabストリーミングを追加し、大きなテンソルをRAMに載せる際のスレッド枯渇・メモリ逼迫を緩和。
• 投機的デコーディング: DFlash2サポートの追加と、DFlashエンコーダのKVキャッシュ注入への融合。ベンチマーク専用のsynthetic speculative acceptanceオプションも追加された。
• 分散・RPC: Apple RDMAをRPCトランスポートとして追加し、RPCのevent／asyncバックエンドAPIを整備。マルチGPU向けのCUDA並行ストリームなどバックエンド横断の改善も多い。

サーバー・マルチモーダル・ggml — スロット上限、動画入力、0.23.0

• サーバー: スロット別のコンテキスト上限（--kv-unified-per-slot）を追加。メディア入力に data: URLを受け付け、preserve_reasoning を既定で有効化、ツール呼び出しを含むassistantメッセージのprefill受け入れを拒否するなど、エージェント利用を意識した堅牢化が並ぶ。
• マルチモーダル（mtmd）: 動画パラメータと --video-* CLI引数を追加。mtmd_tokenize_from_parts() の新設、Qwen3-TTSの修正、Idefics3前処理の修正など。
• Web UI: チャットフォームのアクションUI/UX改善、会話ごとのMCP上書きを会話ごとのツールポリシーへ置換、Settings／MCPサーバー画面のダイアログ化。
• ggml v0.23.0: v0.22.0から更新。新演算子とバックエンドスケジューリングAPIを追加し、スパースアテンション（ggml_flash_attn_ext_set_n_kv_max）、非同期実行、割り当て依存追跡を支える。RPCのevent／async APIとApple RDMAトランスポートもこちらに含まれる。

膨大なバックエンド別チューニング（Metalのfa-vec調整、Vulkan、SYCL、ROCm、Hexagon、CUDAのMoE融合など）も同梱されており、日常的にnightlyを使っている利用者は、安定版タグへの切り替え前にKV状態バージョンの変更と新オプションの既定値を確認しておくとよい。

出典

• llama.cpp v0.4.0 リリースノート
• ggml v0.23.0 リリースノート