小型モデルを軽くするとき、私たちはまず量子化や蒸留を考えます。では、モデルに一度も手を入れずにコストを7割以上下げることは本当にできるのでしょうか。
Dharma-AIのチームがHugging Faceで公開したHow Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applicationsは、できると報告しています。本番運用中のポルトガル語エッセイ採点システム(Qwen3-4Bベース)で、語彙を特化させることにより、ベースモデルを変えずに測定上の推論コストを77%削減したそうです。詳細はVocabX論文として近く公開される予定で、この記事はその先行紹介です。
「継承したまま」の語彙が、毎リクエストの負担になる
採点システムは、小論文と課題文を受け取り、観点ごとの点数とコメントをJSONで返します。使う言語はポルトガル語だけで、出力形式も固定です。ところがトークナイザーは多言語・多用途向けのQwen3-4B標準のままで、語彙は15万1,669個ありました。
元記事は、これが2つのコストを生んでいたと指摘します。1つは、毎回書くテキストが必要以上に多くのトークンに分割されること。もう1つは、トークンを1つ生成するたびに、このタスクでほぼ使わない語まで含む巨大な語彙をスコアリングすることです。
頻度ではなく「トークンあたりのコスト」で語彙を作り直す
注目したいのは、語彙を出現頻度ではなくトークンごとのコストを基準に再設計している点です。モデルが最も多く書くテキストを少ないトークンで表せれば、生成回数そのものが減ります。
これまで固定の前提として扱われてきたトークナイザーが、学習の前に決まる最大級のコスト調整手段になり得ます。この知見はすぐ使えます。
- 用途が単一言語・単一フォーマットに限られる社内の特化モデルほど、効果が出やすい
- モデルサイズの変更や再選定をせずに、コスト改善の余地を探れる
- 量子化など別の軽量化手法と競合せず、別の軸として検討できる
次の一手は「語彙」を設計項目に加えること
冒頭の問いへの答えは、条件付きでYesです。77%は、単一言語・固定形式という特化条件の本番システムでの実測値であり、どのモデルにも当てはまる数字ではありません。それでも、SLMを自社業務に特化させる現場にとって、トークナイザーを「触らない前提」から「設計対象」へ移す十分な理由になります。論文の公開後は、手法の再現条件と品質への影響を確認したうえで、自社のユースケースに当てはめてみる価値があるでしょう。
関連記事
- NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training Required
- The bridge to agent-scale Git infrastructure
- Democratic governance of frontier AI, part II: Empowering cyber defenders
参考文献
コメント