IMAGE: AI生成ビジュアル
RESEARCH / Research
4bitが16bitを超える — Multiverse Computingの「Quantization-Aware Healing」で60Bモデルが9ベンチ中7勝
GPT-OSS 120Bを60Bに構造圧縮しMXFP4へ量子化したモデルを、元の120Bから直接蒸留して「治癒」。同アーキテクチャのbfloat16復元版を7/9ベンチで上回り、LiveCodeBenchではフルサイズ教師も超えたと報告。QAT比で約7倍速く収束し、その後も安定。
Multiverse Computingは2026年8月25日、大規模言語モデルを構造圧縮（パラメータ削減）と4bit量子化の両方を経たモデルを回復させる新レシピ「Quantization-Aware Healing（QAH）」を公開した。GPT-OSS 120Bを60Bへ圧縮しMXFP4へ量子化したモデルに適用したところ、同じ60Bアーキテクチャのbfloat16復元版を9ベンチマーク中7つで上回り、LiveCodeBenchでは元の120B教師（66.0）を60Bの4bit（66.5）が超えたとする。論文「Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs」（arXiv:2608.20953）と、同社によるHugging Faceブログが一次情報で、モデルはHypernova-60Bとしてオープンウェイトで提供されている。
QAHの概要。構造圧縮と量子化後の能力低下を、回復後のbfloat16ではなく元のフルサイズモデルから直接蒸留して回復する。出典: Hugging Face Blog — Multiverse Computing
何が新しいか — 「誰から教わるか」を変える
従来の効率化パイプラインは「構造圧縮 → 量子化 → ヒーリング（回復学習）」の3段階だが、最後のヒーリングの設計で結果が分かれる。
- QAT（Quantization-Aware Training）が前提にしてきたこと: 量子化を模擬するfake-quantizationを順伝播に挿入し、タスク損失（cross-entropy）で再学習する。SFT・RLHF・エージェントチューニングを、低精度のノイズを伴う順伝播でやり直すため高コストで、論文ではピークを過ぎると不安定に崩れる挙動が報告された。
- QAD（Quantization-Aware Distillation）の限界: フル精度の教師から量子化された生徒へKLダイバージェンスで蒸留する手法。量子化だけなら同アーキテクチャのフル精度版が教師になれるが、構造圧縮を経たモデルには「同じアーキテクチャのフル精度版」がそもそも存在しない。候補となるのは圧縮後に蒸留で回復させたbfloat16版だが、それ自体が元の近似であり、そこを教師にすると生徒はその天井に固定される。
- QAHの一点の変更: 教師を「元の圧縮前フルサイズ・フル精度モデル」に戻す。教師と生徒はアーキテクチャが異なっていてもよい — 教師の出力分布はアーキテクチャに依存しないため、サイズ不一致でもKL蒸留で転移できる。生徒はハードラベルを見ず、教師のlogits分布のみをKLで模倣する。
- なぜ4bitが16bitを超えられるのか: 論文の解釈では、QAHでの量子化は「ヒーリング後にかける劣化処理」ではなく、元の教師に対する二度目の蒸留パスとして機能する。bfloat16復元版が時間やデータの制約で移しきれなかった情報を、4bitの生徒が追加で拾う構図だ。
- 長文脈への対応: ヒーリング用コーパスは最大32kトークンまで含むため、語彙×系列長の巨大な行列を展開せず系列をチャンクごとにKLを計算する省メモリ損失を、同社の別論文の手法を再利用して実現している。
結果 — 4bitがbfloat16を7/9で上回る、推論・数学で最大の回復
評価はGPT-OSS 120B → 60B（bfloat16で回復）→ 同60BをMXFP4へQAHという同一パイプラインで、自然な比較対象は「同じ60Bアーキテクチャの最高のbfloat16版」だ。
9ベンチマークでの比較。60B MXFP4（QAH）が60B BF16を7/9で上回る。出典: Hugging Face Blog — Multiverse Computing
| ベンチマーク | 120B教師 (MXFP4) | 60B BF16（復元） | 60B MXFP4（QAH） | QAH vs BF16 |
|---|---|---|---|---|
| AA-LCR（長文脈推論） | 50.0 | 35.3 | 42.7 | +7.4 |
| AIME 2025（数学） | 80.0 | 70.7 | 76.3 | +5.6 |
| Aider（エージェントコーディング） | 45.3 | 38.2 | 40.9 | +2.7 |
| τ²-bench（ツール利用） | 68.4 | 59.4 | 61.7 | +2.3 |
| GPQA Diamond（科学） | 69.0 | 65.7 | 67.4 | +1.7 |
| IFBench（指示追従） | 63.3 | 58.4 | 59.9 | +1.5 |
| LiveCodeBench（コーディング） | 66.0 | 65.5 | 66.5 | +1.0 |
| MMLU-Pro（知識） | 78.0 | 74.0 | 73.8 | −0.2 |
| SciCode（科学コーディング） | 37.5 | 35.6 | 34.2 | −1.4 |
- 7勝2敗、敗北は1.5pt以内: MMLU-ProとSciCodeでわずかに下回るが、それ以外では4bitが16bitを上回る。最大の伸びは圧縮で最も壊れやすい長文脈推論と数学に現れた。
- フルサイズ教師との比較でも健闘: パラメータ半分・重みメモリ約1/4ながら、LiveCodeBenchで120B教師を超え（66.5 vs 66.0）、GPQA Diamondでも1.6pt差まで迫る。AA-LCRの差が最も大きく残るのは、圧縮で失われた容量が長文脈で最も回復困難なためと論文は考察している。
- 効率と精度の両立: 4bit化で重みメモリはbfloat16比で約1/4、パラメータ半減でトークンあたり計算も約半減。bfloat16で提供されるモデルファミリでは、パラメータと精度の削減を合わせるとトークンあたり計算で約8倍の削減に相当しうるとしている（一次情報の記述）。
QAH vs QAT — 同じピークに7倍速く、崩れない
損失関数の違いを分離するため、GPT-OSS 9BをMXFP4へ量子化する条件で、QAHとQATを同一条件で比較している（MMLU-Pro / LiveCodeBench / GPQA Diamondの平均で追跡）。
QAH（54.9）とQAT（54.6）はピーク精度は同等だが、QAHは約100 stepで到達し以降は±2pt以内で安定、QATはピーク後に約19pt崩落する。出典: Hugging Face Blog — Multiverse Computing
- ピーク精度は同等: QAH 54.9、QAT 54.6で実質タイ。
- 到達速度は約7倍差: QAHは約100 stepでピーク、QATは約700 step。
- 安定性が決定的に違う: QAHはピーク後も**±2pt以内で横ばい**、QATは1,200 stepまでに約19pt崩落。論文は、固定された教師分布にKLで tied されるQAHは「追いついたら動く理由がない」のに対し、ハードラベルにcross-entropyで押し続けるQATは能力を侵食し続けるとメカニズムを説明している。
- 運用上の含意: QATでは慎重なearly stoppingが必須だが、QAHは十分学習させたチェックポイントをそのまま出荷してもドリフトしないため、デプロイリスクが低いとしている。
- 分散学習の注意: 論文は分散学習バックエンド間で大きく再現性のある品質差があったことも報告しており、レシピを実運用する際の検証ポイントとして挙げている。
ベンダー公称値と独立評価は区別が必要だが、同一パイプライン内でのQAH vs BF16、QAH vs QATの比較は統制された条件で示されており、ヒーリング手法としての優位性を示す一次情報として位置づけられる。独立した第三者による再現や、他アーキテクチャ・他コーパスでの汎化は今後の検証対象だ。
出典
- Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original — Hugging Face Blog（Multiverse Computing、2026-08-25）
- Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs — arXiv:2608.20953（2026-08-21）
- MultiverseComputingCAI/Hypernova-60B-2605 — Hugging Face
