Crux-note

前回の話では、AIエージェントを初めて実務に組み込んだときの違和感を書いた。今回は、その後しばらく使い続けて気づいたことを書く。エージェントに慣れてくると、面白いことが起きる。最初は「どこまでやってくれるんだろう」と恐る恐る委ねていたのが、...

生成AIの「導入事例」が増え続けている。業務効率化、コスト削減、生産性向上——そうした成果が、各社の発表やメディアを通じて積み上がっていく。だが立ち止まって考えると、それらの多くは「体感として速くなった」「以前より楽になった」という感想に近...

週次でモデルリリースが積み重なるようになって久しい。「過去最高のスコアを達成」「推論能力が大幅に向上」という発表が届くたびに、一つ確認したくなることがある。その評価は、誰がやったのか、と。自己採点の構造生成AIの性能評価において、開発者が評...

OpenAIがo3を発表したとき、ベンチマーク数字のインパクトは並外れていた。ARC-AGIで87.5%、GPQAダイヤモンドで87.7%、AIME 2024では96.7%——どの指標も、人間のトップパフォーマンスを射程に入れる水準だった。...

ベンチマークは何を測っているかまず、事実を認めるところから始める。ここ数年で主要な言語モデルのベンチマークスコアは大きく伸びた。MMLU、HumanEval、GSM8K──どの指標を取っても、2022年から2025年にかけての上昇幅は目を見...

「Copilotを使うと開発速度が55%向上する」という数字を、一度は目にしたことがあるはずだ。GitHubが2022年に発表した調査結果で、以来この数字はAIコーディング支援ツール導入の根拠として営業資料や技術記事に広く引用されている。こ...