生成AI

スコアが伸びるほど、見えなくなるもの

ベンチマークは何を測っているかまず、事実を認めるところから始める。ここ数年で主要な言語モデルのベンチマークスコアは大きく伸びた。MMLU、HumanEval、GSM8K──どの指標を取っても、2022年から2025年にかけての上昇幅は目を見...
生成AI

AIコーディング支援の生産性研究が測っていないもの

「Copilotを使うと開発速度が55%向上する」という数字を、一度は目にしたことがあるはずだ。GitHubが2022年に発表した調査結果で、以来この数字はAIコーディング支援ツール導入の根拠として営業資料や技術記事に広く引用されている。こ...
AIコーディング

個人と組織の解決策は揃った。残る問いは「誰がコストを持つか」だ

AIコーディング時代のジュニア育成問題は、これまで多くの角度から論じられてきた。だが、ある整理を読んで、問題の見え方が少し変わった。ジュニア育成の解決策はもう出尽くしている、ただし1つの層を除いて(aimar氏、Zenn)は、育成問題の解決...
AIコーディング

記憶が続くとAIは変わる — 長期記憶が開発支援ツールを「思考パートナー」にする条件

Claude Codeに長期記憶を持たせたら、壁打ちの質が変わった は、AIエンジニアの@noprogllamaによる実装記録だ。Claude CodeにカスタムのRAGシステム「sui-memory」を接続し、1,942セッション分の会話...
AIコーディング

育成の空白を埋めた側が、採用標準を手にする

ジュニア育成の解決策はもう出尽くしている、ただし1つの層を除いては、AI時代のジュニア育成の解決策を「個人・組織・業界社会」の3層に分けて整理した記事だ。個人レベルの学習法やAIとの付き合い方、組織レベルのメンタリング・評価制度については提...
AI規制・政策

源内のコードは公開された。共創の実質は、これから問われる

政府AI「源内」オープンソース化 GitHubで公開、商用利用もOK 民間と共創へ(ITmedia AI+)デジタル庁は4月24日、生成AI利用環境「源内」の一部をGitHub上にオープンソースとして公開した。対象はWebインターフェースの...
AI規制・政策

なぜ対立が先で、協力が後なのか — Mythos騒動が示したAI開発の構造的問題

Anthropicとホワイトハウス、Mythosへの懸念高まりを受けて"仲直り"を模索かAnthropicは2月、国防総省からAIセーフガードの撤廃要求を拒否し、サプライチェーンリスクに指定された。その後4月7日に発表した「Claude M...
AI規制・政策

誰が責任を持つのか ― 政府AIオープンソース化の死角

政府が開発したAIをオープンソース化すれば、民間が活用し、重複開発も減り、全体最適が実現できる。この論理は一見筋が通っているが、実装の視点から見ると、ひとつの問いがすっきりと抜け落ちていることに気づく。「誰がそれに責任を持つのか」という問い...
生成AI

週刊AI懐疑論 #1|「生産性55%向上」は何を測ったのか

何が「生産性」なのかを問わずに、数字を受け取っている「AIコーディングアシスタントで生産性が55%向上した」GitHubが2022年に発表したこの数字は、その後のAI開発ツール議論のベースラインになった。McKinsey、Deloitte、...
LLM・基盤モデル

限定公開LLMは『高性能』だけで広がらない──Claude Mythos論争が示す評価軸

限定公開モデルの「性能」は、導入可能性と切り分けて見る必要があります。今回の話題は、Anthropicの限定公開モデル Claude Mythos と、その再構築をうたうOSS実装 OpenMythos をどう評価するかです。まず押さえるべ...