LLM・基盤モデル

Zennに掲載されたAIに「見せてはいけないもの」を、人類はもう見せ始めているは、AIがセキュリティ知識を学習することで「守る知識」が「壊す知識」に転化しうると指摘する。開発競争の中でルール作りが追いついていない現状を問題視し、「何を見せな...

Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL（arXiv: 2602.03839）がHuggingFaceのTRLチームから公開された。...

LLM推論の高速化は、モデルやカーネルの改善だけで決まるわけではありません。高価なGPUを使っていても、CPUとの受け渡しで待ち時間が残れば、その分だけ処理能力は眠ったままになります。Hugging FaceのUnlocking async...

GPUを増やす前に、まだ詰められる待ち時間があるのではないでしょうか。Hugging Face の記事 Unlocking asynchronicity in continuous batching は、LLM 推論における continu...

Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Qu...

Granite Embedding Multilingual R2: Open Apache 2.0 Multilingual Embeddings with 32K Context — Best Sub-100M Retrieval Qu...

RAGパイプラインで「検索精度が足りない」と感じたとき、真っ先に候補に上がるのがRerankerだ。だが、既存の再ランクモデルはサイズが大きく推論コストが高い——そのジレンマが、実装判断を難しくしてきた。Hugging Face が公開した...

AllenAI が公開した OlmoEarth v1.1: A more efficient family of Earth observation models は、衛星・リモートセンシング画像に特化した基盤モデルファミリーの改善版だ。事...

ChatGPTは便利だ。だが「何を根拠に答えているのか」という問いは、使えば使うほど浮かび上がる。OpenAI, Grupo Folha and Grupo UOL announce strategic content partnershi...

テキスト生成はどこまで速くなれるか。この問いに、最適化ではなくアーキテクチャで答えようとしているのがNVIDIAの新しい取り組みだ。Towards Speed-of-Light Text Generation with Nemotron-L...