SGLang v0.5.19公開 — ビームサーチ対応とDeepEP v2、統合radix treeの既定化で786 PR

高性能な大規模言語モデル／マルチモーダルモデルのサービングフレームワーク SGLang が2026年9月5日（UTC）、安定版 v0.5.19 を公開した。786件のPRを214名のコントリビューターが寄せた大規模リリースで、前回 v0.5.18（本サイトでも紹介済み）から約2週間分の変更を束ねている。新機能のビームサーチとDeepEP v2、キャッシュ基盤の既定化、9モデルの新規対応、多数のカーネル最適化が柱だ。いずれも一次情報であるGitHubリリースノートの記載範囲で整理する。数値の性能向上率はすべて開発チーム自身の計測による公称値である。

新機能 — ビームサーチ、DeepEP v2、統合radix treeの既定化

• ビームサーチ対応: リクエストに beam_width を渡すと、単一サンプルではなく上位n系列を返すようになった。通常リクエストと並べてそのまま使える。一方で投機的デコーディング、disaggregation、DP attention、HiCacheとの併用はまだできないと明記されている。
• DeepEP v2（ElasticBuffer）: DeepSeek-V3／V4とQwen3-MoEのFP8向けに、新エンジンを --moe-a2a-backend deepep_v2 で利用可能に。バッファサイズが固定のため、マルチノード構成でもdecodeをCUDAグラフ下で実行できる。性能は従来バックエンドと同等としている。
• 統合radix treeの既定化: 統合ツリーがハイブリッドモデルだけでなく全モデルのキャッシュになった。PD decodeワーカーがgpt-oss系のSWAハイブリッド向けにキャッシュ済みprefixを再利用できるほか、稼働中サーバーへのL3ストレージ着脱、HiCache L3使用時のパイプライン並列の一貫性維持も今サイクルで追加された。SGLANG_ENABLE_UNIFIED_RADIX_TREE は非推奨となり外してよい。
• LayerNorm系列並列: --enable-layernorm-sp で、テンソル並列の各ランクがprefillトークンのうち自分の分だけ正規化する。Qwen3-8BのprefillでH100比3.5%、B200比5.6%の削減、TP度を上げるほど効果が増すとしている。当面はdenseなQwen3系のみ。
• Hopper向けW4A8 MoE: HopperでMXFP4エキスパートを serve する場合、活性化もFP8に量子化できる（--flashinfer-mxfp4-moe-precision fp8）。DeepSeek-V4-Flashで出力スループット約12%向上、GSM8K精度は不変としている。FlashInfer 0.6.18が必要。

新規モデルとクックブック — Qwen3.8、Spark2.5、Granite 4.2など9種

• 新規対応モデル: Qwen3.8（2.4T-A95B）、Qwen3.8-27B、dots3.note、Ling-3.0-flash、Ling-3.0-tiny、Spark2.5、MiniCPM-SALA、Granite 4.2、LongCat-Image-Edit & Edit-Turbo（Diffusion系）の9種。Qwen3.8、dots3.note、Spark2.5にはスター印が付いている。
• クックブック拡充: GLM-5.3とPaddleOCR-VLのデプロイガイドを追加。Kimi-K3のAscend A3対応、Kimi-K2.7-Code-MXFP4やQwen3.5 MXFP4のMI355X対応、MiniMax-H3の24GB GPU／DGX Spark向けチューニングガイド、Ling-3.0-flashのDGX Spark対応、Qwen3.8-27BのRTX 5090／RTX PRO 6000／DGX Sparkでの再計測など、コンシューマーGPUと中国・AMD系アクセラレータへの展開が目立つ。
• 投機的デコーディング: DFlash2の改良（バッチ1で非spec比3.43倍など）、LFM2／LFM2-MoEへのDSpark対応（LFM2.5ターゲットで1.05〜2.42倍）、Nemotron 3.5 Lightningのspec対応、マルチアダプタLoRAとEAGLE系の併用対応が入った。いずれも開発チームの計測値であり、環境依存に留意が必要だ。

カーネルと長文脈 — BlackwellのDCP、AMDのLean attention

• Blackwell既定バックエンドでのDCP: decodeコンテキスト並列が trtllm_mla で動くようになった。128K入力では通常TPが8xB200で秒間680トークン前後で頭打ちになる一方、DCPは並行度を上げても伸び続けるとしている。
• 投機カーネルの高速化: DSA prefill top-kのv2カーネル化でB200比1.3〜1.8倍。KDAモデル向けのfused acceptパスはMTP検証・確定時間を45〜63%削減し、出力はビット一致としている。
• AMD向けLean attention: MI300X／MI355Xで長い・不均一なdecodeバッチが計算ユニットを遊ばせていた問題に対し、永続型Leanカーネルで作業を全ユニットに分散。MI355Xで最大1.52倍のスループット、トークン間遅延は最大3.62分の1としている。効果が見込める場面では自動で有効化され、SGLANG_DISABLE_LEAN_ATTENTION=1 で無効化できる。
• ROCm側のDSA改善: GLM-5.2の分離servingでdecode TPOTが8xMI355Xで23msから8msに、DeepSeek-V4のv2 top-kで最大3倍、共有エキスパートのゲート修正でGLM-5.2のTPOTが最大16%改善としている。
• 依存関係: FlashInfer 0.6.18、sgl-deep-ep 0.1.2、sgl-deep-gemm 0.1.7、mooncake 0.3.13へ更新。Rubin向けCUDA 13.4プレビューイメージと、gfx942／gfx950／gfx1250向けROCm 10イメージを新設した。

運用者向け — 破壊的変更とUpgrade Notes

• FlashInfer 0.6.18必須: --dsa-topk-backend flashinfer とCuTe DSLのNVFP4 W4A16モードに旧APIへのフォールバックはない。
• 改名と既定値変更: Spark3はSpark2.5に改名（設定・モデルクラス・ツールコールパーサ名 spark25 に波及）。DeepSeek-V4のFP4エキスパートは auto 時にFlashInfer MXFP4ランナーが既定に。W4A4 MegaMoEは --enable-w4a4-megamoe フラグへ移行した。
• リクエスト制限: stop文字列とstop正規表現は各32件・各256バイトまでに制限され、超過はHTTP 400になる。
• 環境変更: ROCm 7.2.4イメージはPython 3.12・torch 2.11・triton 3.7へ。SGLANG_USE_SGL_XPU フラグは削除されXPUは既定でsgl-kernel MoEを使う。Diffusion系のキャッシュ関連env varはサーバー既定値として残るが非推奨化予定。
• 更新時はリリースノート末尾のBreaking Changes & Upgrade Notesと既知の問題を確認し、特に ServerArgs を自前構築している実装では resolve_once() 呼び出しの要否を見直す必要がある。

出典

• Release v0.5.19 — sgl-project/sglang (GitHub)
• SGLang Documentation — Cookbook