VLM高速化の主戦場は、モデル選びから推論設計へ移る

Accelerating vision-language models with LFM2.5-VL-DSpark は、Liquid AI が LFM2.5-VL-3B 向けの実験的な DSpark draft model を公開したという発表です。
280M パラメータの追加で、出力品質を変えずに speculative decoding による高速化を狙います。
MLX、llama.cpp、SGLang に初日対応し、オンデバイスと H100 の双方で速度改善が報告されています。

VLM の導入判断で見落とされがちなのは、モデル単体の性能よりも「推論経路をどこまで設計できるか」です。画像を扱うモデルでは、視覚エンコーダ、prefill、decode がそれぞれ遅延に効きます。DSpark が加速するのは主に decode であり、画像処理や prefill の重さは残ります。それでも意味があるのは、VLM の実用化がベンチマーク上の精度競争から、応答時間・端末実行・既存ランタイム対応の競争へ移っているからです。

今回のポイントは、3B クラスの VLM に小さな draft model を足すことで、M5 Max や M3 Ultra のようなローカル環境でも体感速度を改善できる可能性を示した点にあります。特に llama.cpp や MLX-VLM への対応は、研究発表ではなく、手元の実行環境に近い層へ最適化が降りてきたことを意味します。

一方で、これは万能な高速化ではありません。画像入力が重いタスクでは、decode だけを速くしても全体の改善幅は制限されます。つまり実務で見るべき指標は、単なる tokens/sec ではなく、画像サイズ、入力長、初回応答時間、会話の継続回数を含めた end-to-end latency です。

VLM を業務に入れるチームにとって、今回の発表は「より大きなモデルを待つ」以外の選択肢を示しています。モデルを替える前に、draft model、ランタイム、量子化、入力設計を組み合わせて、必要な体感速度に近づける余地がある。VLM 活用の現実的な前進は、モデル選定だけでなく、推論設計をプロダクト要件として扱うところから始まります。

関連記事

参考文献

Accelerating vision-language models with LFM2.5-VL-DSpark