「NCP-ArchPreview」公開 — トークン予測に概念予測を並列させた潜在空間LM、8.9BでOLMo-3-7B超えを報告

Intern-NCP Teamと名乗る研究チームは2026年9月9日、自己回帰型の事前学習を標準的な次トークン予測（NTP）の先へ進める潜在空間言語モデル「NCP-ArchPreview」の技術レポートをarXivで公開した。NTPと並行して、複数トークンにまたがる離散的な「概念」を予測するNext Concept Prediction（NCP）という目的を導入し、トークンレベルの生成は保ったまま概念レベルの明示的な学習を加える設計だ。以下はすべて著者らの報告内容で、独立した第三者による検証はまだ示されていない。

NTP＋NCPの共同学習という設計

• 概念語彙の構築: モデル自身の隠れ状態から積量子化（product quantization）で概念語彙を作り、潜在空間を形成する。
• Concept Module: 専用モジュールが未来の概念を予測し、予測した概念をトークンレベルにフィードバックして後続生成を導く。
• end-to-end学習: NTPとNCPを共同で最適化する。トークン生成の枠組みを壊さずに、より難易度の高い概念レベルの目的を上乗せする点が特徴だ。

規模とデータ効率の報告

• 規模: 89億パラメータに拡張し、Dolma-3データセットから5.73Tトークンで学習。著者らは潜在空間LMとして過去最大規模の実証と位置づけている。
• 効率: OLMo-3-7Bの最終事前学習損失に、総学習トークンの51.3%の消費で到達したとしている。
• 下流性能: 全体の事前学習完了後、下流タスクのマクロ平均でOLMo-3-7Bを2.45ポイント上回り、GSM8Kでは5.99ポイントの向上を報告している。
• 統制実験: 潜在アーキテクチャとNCP目的のそれぞれに由来する段階的な性能向上を確認したとしている。また標準計算量の85%のみで、パラメータ数を揃えた89億のベースラインの学習損失に迫るとしている。

事前学習後も使える潜在空間

• 軽量な領域適応: 1700万パラメータのVQモジュールのみを更新することで領域適応の新しい軽量インターフェースになるとしている。
• 推論高速化への応用: 概念表現をDFlash2のドラフターに注入する単純な手法で、平均受理長（mean accepted length）が4.17%改善し、オーバーヘッドは無視できる程度としている。

解釈と限界

• 比較対象のOLMo-3-7Bとの学習条件（データ・計算量・評価プロトコル）の厳密な同一性は要旨からは確認できないため、数値の解釈には留保が必要だ。
• すべての性能数値は著者らの自己報告で、再現実験や独立評価はまだない。
• 潜在空間LMの方向性自体はデータ効率と推論活用の両面で注目に値し、コードや学習済み重みの公開状況など続報を確認したい。

出典

• NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction | arXiv