最上位級のマルチモーダルモデルを、自分たちの手元で動かす。そんな選択肢は、もう現実になったのでしょうか。
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta(Hugging Face ブログ)は、Meta のオープンウェイトなマルチモーダル MoE モデルを紹介しています。モデルページでは Image-Text-to-Text 形式、パラメータ数は 822B と示されています。
822Bでも全部が動くわけではない
MoE(Mixture-of-Experts)は、入力ごとに一部の専門家だけを動かす構造です。たとえば画像付きの問い合わせが来ても、計算に使われるのは全体の一部にとどまります。そのため総パラメータ数が大きくても、1回あたりの計算量は抑えられます。ただし重みそのものは保持する必要があり、メモリ要件は軽くなりません。稼働パラメータ数などの詳細は元記事で確認してください。
Before / After:借りるモデルから、持てるモデルへ
- Before:最上位級のマルチモーダル性能は、API 経由で借りるのが前提でした。
- After:重みが公開されたことで、自前環境での運用や追加学習が選択肢に入ります。
画像を含む社内資料を外部に出さずに処理する、自社データで調整する、といった設計が検討できるようになります。
問いへの答え
答えは「選択肢として現実的になった」です。ただし、無条件ではありません。ライセンス条件、必要な GPU 構成、自社タスクでの精度は、公開情報だけでは判断できません。まずは小さな検証で、この3点を確かめるのが次の一歩です。
関連記事
- Sophos cuts threat investigation time by 96% with OpenAI Daybreak
- Introducing Falcon ASR
- The model that didn’t exist, so you made it yourself
参考文献
コメント