英語以外の言語で、事前学習データは本当に足りるのでしょうか。NVIDIAがHugging Faceで公開したScaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipelineは、この問いに一つの答えを出しています。
タイトルから読み取れる要点は2つです。インド系言語の事前学習向けに2.8兆トークン規模のデータを扱っていること、そのデータを生成するパイプラインをオープンにしていることです。ページには8Bクラスの翻訳モデルも掲載されています。ただし、パイプラインの詳細や評価結果は、私は確認できていません。以下は、確認できたタイトルと掲載情報の範囲で考えた示唆です。
データは「集める」から「生成する」へ
注目したいのは、データの量より、生成手順が公開されている点です。データセットだけが公開される場合、利用者は完成品を受け取るだけです。生成手順まで公開されていれば、自社の言語や業界に同じ手法を当てはめられる可能性があります。
実務者にとっての機会
この流れが進めば、変わることが3つあります。
- 低リソース言語でも、独自の事前学習や継続学習を検討しやすくなる
- 多言語対応の検討が、既存モデルを選ぶだけでなく、データを自前で整える方向にも広がる
- 日本語の専門領域のように、データが薄い分野にも同じ考え方を応用できる
もちろん、生成データの品質や、元のモデルのライセンスによる制約は、導入前に確認が必要です。パイプラインのコード、利用条件、評価の公開範囲を読んでから判断すれば、自分たちに使えるかを見極められます。
多言語AIの課題は、モデルの賢さだけではなく、データをどう用意するかへ移りつつあります。自社が扱う言語や領域で、データを生成して補う選択肢はあるのか。元記事は、それを検討する材料になります。
出典: Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline(Hugging Face Blog / NVIDIA)
関連記事
- Sophos cuts threat investigation time by 96% with OpenAI Daybreak
- Introducing Falcon ASR
- The model that didn’t exist, so you made it yourself
参考文献
コメント