Alibaba Qwen、125B MoE「Qwen3.8-Flash-Next」を公開 — Qwen4アーキテクチャの先行版、6Bアクティブで長文・低遅延を狙う

Alibaba Qwenチームは2026年8月26日、次世代基盤モデル Qwen4のアーキテクチャを先行公開するモデル「Qwen3.8-Flash-Next」 を発表した。マルチモーダル対応のMixture-of-Experts（MoE）モデルで、総パラメータ125Bのうちトークンあたり6Bがアクティブになる設計に、51Bのn-gram embeddingと4BのMTP（Multi-Token Prediction）を組み合わせる。一次情報はHugging Faceモデルカード「Qwen/Qwen3.8-Flash-Next」とQwen公式ブログの一連の告知で、重みはHugging Faceでオープン公開された。

Qwen3.8-Flash-Next アーキテクチャ概要 出典: Qwen/Qwen3.8-Flash-Next — Hugging Face / Qwen Blog: Qwen3.8-Flash-Next

何が発表されたか

位置づけ: Qwen4で本格採用予定のアーキテクチャの実験的プレビュー。従来のQwen3-NextがQwen3.5に先行したのと同様に、今回のQwen3.8-Flash-NextがQwen4への布石になると説明される。
公開形態: Hugging Faceで 「Qwen/Qwen3.8-Flash-Next」 としてオープンウェイト公開。Transformers、vLLM、SGLang、TokenSpeedなどで利用可能。商用マネージド版は Qwen Cloudの「Qwen3.8-Flash」 として提供され、デフォルトで1Mコンテキストや組み込みツールなどの本番向け機能を備える。
モダリティ: テキストに加え、画像・動画入力に対応するVision Encoderを統合したCausal Language Model。モデルカードでは「Causal Language Model with Vision Encoder」と記載される。
ライセンス: Hugging Faceのメタデータでは license: other / qwen-community-1.0 と表記。詳細はリポジトリ内のLICENSEを参照する必要がある。

アーキテクチャの核 — 効率を主眼にした4つの変更

Qwenチームが強調する革新点は次の4つだ。

Hybrid Attention with QSA（Qwen Sparse Attention）: 従来のGated DeltaNet + Gated Attentionの組み合わせを、Gated DeltaNet + QSAへ刷新。QSAはトークン単位ではなくmicro-block単位でスパースに処理し、長文コンテキストのレイテンシを大幅に削減する。エージェント的な長時間ワークロードを想定した設計とされる。
Gated Residual: 正規化を伴うResidual streamを、要素ごとのデータ依存read gateとブランチごとのscalar write gateで変調。深い層でも学習の安定性を保ちつつ、層間の表現力を高め、推論オーバーヘッドは低く抑える。
N-gram Embedding: MoEよりも計算負荷が低くオフロードしやすいembedding軸でのスケーリング。短いn-gramで索引することで、メモリ制約のあるアクセラレータでも効率的にパラメータを増やせるとする。
Tailored Training Recipe: MuonとAdamWを重みの種類ごとに使い分ける最適化と、再フィットしたスケーリング則に基づく学習レシピ。従来のバッチサイズウォームアップを廃止し、ターゲットバッチサイズから直接学習を開始することで、optimizerステップ数を削減しつつ大きな学習率での収束を実現したと説明される。

モデル仕様（一次情報ベース）

パラメータ: 言語モデル 125B（アクティブ6B） + n-gram embedding 51B + MTP 4B。Hidden dimension 2560、Layers 48。
レイアウト: 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)) のハイブリッド構成。
Attention詳細: Gated DeltaNetはV用48ヘッド・QK用16ヘッド（head dim 128）、QSAはQ用24ヘッド・KV用2ヘッド（head dim 256、RoPE dim 64）、IndexerはMQA（Query 4 / Key 1、head dim 128）、Budgetは512 blocksまたは2048 tokens。
MoE: Experts 512、Routed 10 + Shared 1がアクティブ、Expert intermediate dim 640。Gated ResidualはBranches 4、Bottleneck rank 320。
Embedding: Token embedding 248,320（padded）、N-gram embedding 20,000,000（layer 2でbigrams/trigrams）。
コンテキスト: ネイティブ262,144トークン、YaRNなどのRoPEスケーリングで最大1,000,000トークンまで拡張可能。
対応フレームワーク: SGLang、vLLM、TokenSpeed向けのレシピが公開。Hugging Face Transformersでも後学習済み重みとしてロード可能。

ベンチマーク — 公称値の整理（比較画像なし）

モデルカードには言語・エージェント・マルチモーダルの広範なベンチマーク表が掲載されている。画像チャートの公開は確認できず、本稿では一次情報のHTMLテーブルを数値として要約する。いずれもベンダーによる自己評価であり、独立した再現評価や同一条件での公平な比較は今後の検証が必要だ。

コーディング: DeepSWE 1.1で58.7（Qwen3.8-27B 42.2 / Qwen3.7-Plus 16.5 / DeepSeek-V4-Flash 54.4）、SWE-bench Proで62.5、SWE-bench Multilingualで81.0、NL2Repo-Benchで48.1。
エージェント: CoWorkBench（長時間オフィス作業）73.9、JobBench 55.7、Agents’ Last ExamでScore 51.2（Pass@1 24.3）、RecreationBench 49.9、AndroidWorld 84.5、OSWorld 2.0でBinary 19.4 / Partial 52.3、Vision2Web 64.0。
マルチモーダル・汎用: ERQA 72.3、LVBench 76.6、RealWorldQA 88.5、MathVisionで90.6（CIなし）/ 95.7（CIあり）、CharXiv RQで84.6 / 90.6。
比較対象の記載: テーブルではQwen3.8-27B、Qwen3.7-Plus（397B/17Bアクティブ）、DeepSeek-V4-Flash-0731（284B/13B）、Claude-Opus系が参照モデルとして併記される。比較画像としてのチャートは一次情報に存在しないため、本稿では画像埋め込みを行わず数値で整理した（比較画像なし）。

ベンダー表では各行の最良スコアが太字で示され、Qwen3.8-Flash-Nextが多くの行でトップを主張する。ただし評価プロトコルやプロンプト、CI（code interpreter）有無の条件がモデル間で異なる場合があり、数値の解釈には留意が必要だ。

提供・使い方

Hugging Face: Qwen/Qwen3.8-Flash-Next で重みとREADME、サンプルコードを公開。pipeline_tag: image-text-to-text。
Qwen Cloud: マネージドAPIとして Qwen3.8-Flash で提供。思考モード（<think>...</think>）がデフォルトで有効、温度等の推奨パラメータやYaRN設定がドキュメント化されている。
推論エンジン: SGLangクックブック、vLLMレシピ、TokenSpeedレシピが案内され、最新版の利用が推奨される。Chat Completions API互換で、enable_thinking / preserve_thinking / reasoning_effort（xhigh/medium/low）で思考挙動を制御できる。
技術レポート: 詳細は tech_report.pdf（GitHub）とQwenブログで順次公開される。

位置づけと留意点

Qwen3.8-Flash-Nextは、パラメータ規模とコンテキスト長の両面で拡張を続けつつ、「いかに効率よくスケールするか」 に焦点を当てたアーキテクチャ提案として位置づけられる。QSAのブロック単位スパース化やn-gram embeddingによるメモリ効率の高いスケーリングは、推論コストとレイテンシが支配的になるエージェント用途での実効性能を狙ったものだ。120超のExpertsとGated Residualの組み合わせで、6Bという小さなアクティブ計算量で125B級の能力を引き出す設計は、コスト効率を最優先するユースケースでの選択肢になり得る。一方で、51Bのn-gramテーブルを含む総メモリ要件や、1Mコンテキスト時の実測レイテンシ、他モデルとの厳密な比較は、独立したベンチマークと運用検証を待つ必要がある。