H Company、マルチモーダル・多言語エンコーダ「NeoMME」を公開 — 260M/800MをApache 2.0で、文書検索でサイズ別Pareto最前線

H CompanyのTony Wu氏とAurélien Lac氏は2026年9月3日、マルチモーダル・多言語の基盤エンコーダ「NeoMME」（読み: nee-oh-me）をHugging Face Blogで公開した。260Mと800Mの2サイズがあり、既存の視覚エンコーダや言語デコーダを流用せず、単一の双方向Transformerをゼロから学習する設計が特徴だ。文書画像検索向けに微調整したNeoMME-Retrieverと合わせ、全チェックポイントがApache 2.0ライセンスで提供され、Hugging Face Transformersでの実装も用意されている。

単一Transformerの設計 — 視覚タワーを持たないエンコーダ

• 2サイズ・同一アーキテクチャ: NeoMME-260MとNeoMME-800M。テキストはfactorized token embedding、画像は32×32の非重複パッチを小型MLPで投影し、同じTransformerエンコーダに入力する。
• 動的解像度と長い文脈: 画像のアスペクト比とサイズを保持し、情報密度の高い文書ページには多くのトークンを割り当てる。コンテキスト長は16,384トークンで、最大で2枚の4K UHD画像相当まで扱えるとしている。多くの層で対称スライディングウィンドウ注意、6層ごとと最終層で全体注意を使う。
• 学習方法: 離散マスク拡散によるテキストデノイザとしてゼロから事前学習する。マルチモーダル例では画像パッチを見せたままテキストを高率でマスクし、画像根拠に基づく記述の学習を促す。学習量は詰め込み済み入力トークンで約5,240億（うちテキストのみ約2,900億）とされ、データ効率のためにNorMuonオプティマイザを採用したと説明している。
• 多言語対応: 131k語彙のBPEトークナイザを多言語テキスト・コード・数学・画像書き起こしから新規学習した。

検索性能 — ViDoReでのサイズ別最前線（発表者公称）

• 評価設定: ColPali方式のページ画像検索で微調整したNeoMME-RetrieverをViDoRe v1/v2/v3で評価。1回の順伝播でdense埋め込みとlate-interaction埋め込みの両方を返すデュアルヘッド構成。
• ViDoRe v3（nDCG@10、発表者公称）: 260Mが0.523で、8億パラメータ未満の評価対象では最高とし、約14分の1の規模でColQwen2.5（0.524）に0.002差まで迫るとしている。800Mは0.556で、同規模のVultron Retriever Flash（0.8B、0.565）に0.009差としている。両サイズともモデルサイズ対性能のPareto最前線に位置するとしている。
• v1/v2: 260MはColModernVBERTや2倍規模のColSmol-500Mを上回り、800Mは3.6分の1の規模でColPali v1.3を上回るとしている。これらは発表者自身の評価とMTEB掲載値の混合であり、独立した第三者検証は今後の課題である。

出典: NeoMME: an efficient Multimodal-native and Multilingual Encoder — Hugging Face Blog（H Company）

実用面 — 毎秒51ページの索引化と255分の1の圧縮（発表者計測）

• 索引化スループット: 前処理済み画像テンソルを用い、モデル・画像サイズごとにバッチサイズを調整した計測で、2048×2048入力・NVIDIA L40S単体で260Mは約51ページ/秒とし、ColModernVBERTの約26ページ/秒のほぼ2倍としている。小さい入力画像でも両サイズが比較対象より高速だったとしている。
• インデックス圧縮: 2048×2048の1ページは約4,200ベクトル・float32で約2.1MB、ViDoRe v3平均で約1.5MB/ページになるところ、階層的トークンプーリングと非対称量子化の併用で削減する。プール係数10・int8化では約39kB/ページ（約39分の1）で99%超の品質維持、さらに積極的な設定では約6kB/ページ（約255分の1）で95%超の品質維持としている。
• 使い方: TransformersのNeoMMEForRetrievalクラスでdenseとlate-interactionを同時取得できるほか、Sentence Transformers v6向けの個別ヘッド用チェックポイントも提供される。OCR不要でページ画像のまま検索し、レイアウト・図表・フォント情報を保てる点を利点として挙げている。デモはHF Spaceで試せる。

出典: NeoMME: an efficient Multimodal-native and Multilingual Encoder — Hugging Face Blog（H Company）

出典

• NeoMME: an efficient Multimodal-native and Multilingual Encoder — Hugging Face Blog（H Company）
• NeoMME collection — Hugging Face
• Technical report (Hugging Face Papers)
• arXiv:2609.01657