Crux-note

LLM推論の高速化は、モデルやカーネルの改善だけで決まるわけではありません。高価なGPUを使っていても、CPUとの受け渡しで待ち時間が残れば、その分だけ処理能力は眠ったままになります。Hugging FaceのUnlocking async...

GPUを増やす前に、まだ詰められる待ち時間があるのではないでしょうか。Hugging Face の記事 Unlocking asynchronicity in continuous batching は、LLM 推論における continu...

Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Qu...

Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Qu...

RAGパイプラインで「検索精度が足りない」と感じたとき、真っ先に候補に上がるのがRerankerだ。だが、既存の再ランクモデルはサイズが大きく推論コストが高い——そのジレンマが、実装判断を難しくしてきた。Hugging Face が公開した...

AllenAI が公開した OlmoEarth v1.1: A more efficient family of Earth observation models は、衛星・リモートセンシング画像に特化した基盤モデルファミリーの改善版だ。事...