Pretraining

RESEARCH / 04

「NCP-ArchPreview」公開 — トークン予測に概念予測を並列させた潜在空間LM、8.9BでOLMo-3-7B超えを報告

Intern-NCP Teamが潜在空間言語モデルNCP-ArchPreview（arXiv:2609.10715）を公開。積量子化した概念語彙とConcept Moduleで複数トークンにまたがる概念の予測を学習し、トークン生成に還元。8.9B・5.73Tトークンの学習でOLMo-3-7Bを上回ると報告。