NEXSIGHT AI WIRE AI News & Intelligence
NEWS / CONTEXT / DECISION 人工知能の現在地を、次の意思決定へ。
評価グラフと実験構造を重ねたAI研究の抽象ビジュアル
NAW / RESEARCH 04

IMAGE: AI生成ビジュアル

RESEARCH / Evaluation

Hugging Face、Open ASR Leaderboardに初のグローバルサウス言語を追加 — ヒンディー語とインド英語のMonsoonデータセットを公開

Voice Arena提供のMonsoonは4,888話者・9軸の多様性をカバー。ヒンディー語では表記ゆれを吸収するLattice参照とOIWER評価を導入し、単一WERでは見えない地域・表記バイアスを可視化する。

研究・評価 NEXSIGHT AI WIRE 編集部 6 MIN READ

Hugging Faceは2026年8月28日、音声認識の公開ベンチマーク「Open ASR Leaderboard」に初のグローバルサウス言語としてヒンディー語を追加したと発表した。Voice Arenaが提供する「Monsoon」コレクションの4スプリット（インド英語 public/private、ヒンディー語 public/private）を新たに統合し、話者属性まで含めたきめ細かい評価を可能にする。

これまで同リーダーボードの多言語タブは欧州言語のみで構成されていた。話者数5億人超のヒンディー語の追加は、グローバルサウスを代表する言語を初めてベンチマークの既定評価に組み込む試みとなる。

Monsoonは何を変えるか — 9軸の分散とLattice参照

Monsoonの設計思想は「一つのWERに潰れてきた分散を測る」ことにある。大半のASRベンチマークが“何が語られたか”だけを記録するのに対し、Monsoonは誰が・どこで・どの機器で・どう話したかまでを系統的に振る。具体的には地理・年齢・性別・語彙・デバイス・音環境・発話種別・発話速度・複数正解という9軸に沿って収集が設計されている。

Monsoonがカバーする9つの多様性軸（地理・デバイス・語彙・発話種別など） 出典: Hugging Face Blog — The Open ASR Leaderboard Adds Its First Global South Language / 画像: nine-axes-gray.png

  • 収集の現実性: 参加者はVoice Arenaコミュニティ経由で数百の地区から募集され、自前の端末・回線で2者間の自発的会話をP2Pで収録。静かな録音室ではなく、生活音を含む“in-the-wild”な音響が意図的に残されている。
  • 品質管理: 言語識別・性別照合・再生音声検出・SN比とDNSMOS P.808でのゲーティング、VADによるセグメント化、5段階の独立検証を伴う人手転写を経て参照を作成。ドラフト生成に使われた内部ASRはリーダーボード未掲載のモデルに限定し、評価対象が自らの参照を作る事態を避けている。

データセット構成は以下の通り。時間数は小規模だが話者数は極めて多い「少数話者の長時間」から「多数話者の短時間」へ重心を移した設計が特徴だ。

  • Monsoon en-IN public: 5.62時間 / 1,444話者 / 428地区 / 24州・6連邦直轄領 / 556デバイス
  • Monsoon en-IN private: 5.58時間 / 1,405話者 / 420地区 / 560デバイス
  • Monsoon hi-IN public: 1.33時間 / 468話者 / 202地区 / 315デバイス
  • Monsoon hi-IN private: 4.47時間 / 1,571話者 / 295地区 / 582デバイス

いずれも話者あたり平均1.46〜1.61セグメント、半数以上が1発話のみの話者で、上位10話者の占有率は2.8〜6.8%に抑えられている。各セグメントにはspeaker_id / gender / native_district / device_modelなど18列（うち12列がメタデータ）が付与され、地域・端末・年齢などでの層別分析が可能だ。

ヒンディー語の表記ゆれをどう評価するか

英語の表記ゆれは英米差・句読点・大小文字など正規化で概ね吸収できるが、ヒンディー語はコードミックスや外来語のデーヴァナーガリー表記、複合語の分かち書きなどで一つの発話に10通り以上の正書法が併存しうる。単一参照のWERでは、音声認識が正しくてもアノテータが選んだ綴りと一致しなければ誤りとして数えられる。

そこでMonsoonのヒンディー語は各区間に「許容される綴りの集合」を持つLattice参照を採用し、評価指標にはAI4Bharat提案のOrthographically-Informed WER（OIWER）を用いる。候補変異は複数ASRの仮説とLLMで拡張した上で母語話者の言語学者が精査し、発話内容に整合するもののみを残している。Hugging Faceらは再現用の実装voi-oiwerを公開した。

ブログの検証では、同一仮説をLattice（OIWER）と単一参照（flattened WER）で二重に採点すると、全モデルでWERが上昇し、しかも上昇幅が均一でないため順位が反転するペアが生じることが示された。表記の再現度が認識精度に混入する従来方式の問題を、具体例で可視化している。

ヒンディー語で単一参照WERとOIWERで順位が反転する例。下では従来の単一参照が表記ゆれを誤りに数えるため序列が変わる 出典: Hugging Face Blog — The Open ASR Leaderboard Adds Its First Global South Language / 画像: hindi_oiwer_flips.png

同じWERでも地域バイアスは4倍違う — ゾーン別で見えた差

Monsoonのもう一つの狙いは、コーパス平均では隠れる地域バイアスの露出だ。公開インド英語セットで8モデルのコーパスWERは4.81〜4.99の0.18ポイント差に密集し、平均だけ見れば「同等」に映る。

話者の出身地区をインド内務省のゾーン区分（North/Central/West/East/Southなど5ゾーン）に束ねて層別すると様相は一変する。openai/whisper-large-v3-turboのゾーン間レンジは0.46ポイントだが、mistralai/Voxtral-Mini-3B-2507は1.68ポイント（Central 4.38 vs East 6.06）に達し、ばらつきは約4倍に広がる。最も苦手なゾーンもモデルごとに異なり、Northが最悪のモデルもあればSouthやEastが最悪のモデルもあり、「ある地域の音声が一律に難しい」わけではなくモデル側の偏りが示唆される。

コーパス平均WERでは0.18ポイント差に密集する8モデルも、ゾーン別のばらつきは0.46〜1.68ポイントと大きく異なる。各ゾーンで最悪となるモデルも分散する 出典: Hugging Face Blog — The Open ASR Leaderboard Adds Its First Global South Language / 画像: corpus_wer_versus_zone_range_coloured_by_zone.png

同様の分解は年齢・学歴・職業・端末など12属性でも再現可能で、公開ファイルに必要なメタデータはすべて同梱されている。

リーダーボードへの統合と参加方法

  • インド英語（en-IN）: メインリーダーボードのVoice Arena Monsoonとして既定の列に表示され、Average WERの集計に含まれる。Private側はPrivate (conversational)列にAppen/DataoceanAIデータと統合して集計される。
  • ヒンディー語（hi-IN）: Multilingualタブで提供。複数言語を選択した際は全言語対応モデルのみがランク付けされる設計で、Language dataset breakdownで“Hindi”を選ぶと単独の内訳も確認できる。

参加は従来通りOpen ASR LeaderboardのGitHubでPRを作成し、publicセットの自己採点結果を提示→Hugging Face側がpublic検証とprivate評価を実行→結果確認、という流れだ。Monsoonのデータセット本体は以下で公開されている。

MonsoonはVoice Arenaによるグローバルサウス向けデータ構想の一部で、今後さらに言語・地域を広げる計画が示されている。単一指標の最適化ではなく「誰にとってどれだけ悪いか」を測れるベンチマークへ — その方向性を、5億人規模の言語での最初の実装として提示した形だ。

出典

KEEP READING

全記事を見る