AIエージェントを業務に入れるとき、本当に知りたいのは「一度できたか」ではありません。同じ依頼を次に受けたときも、同じようにできるかです。
Your Agent Aced the Task. Will It Do It Again? は、IBM Research による AI エージェントの一貫性評価に関する記事です。GPT-4.1 を使った ReAct エージェントは AppWorld で平均 77.4% の成功率を示した一方、5回すべて成功したタスクは 53.0% に留まりました。記事は、この差を Consistency gap と呼び、ALTK-Evolve の仕組みで縮小できることを示しています。
この話の重要性は、ベンチマークの数字を読み替える必要が出てきた点にあります。
平均成功率は、AI エージェントの能力を見るには便利です。しかし、業務利用では平均よりも再現性が問題になります。契約確認、請求処理、社内申請の照合のような作業では、「多くの場合うまくいく」だけでは運用しにくい。ユーザーから見ると、昨日成功した処理が今日失敗するなら、それは能力不足ではなく信頼性不足として扱われます。
特にエージェントは、1回の回答で終わるチャットよりも揺らぎが増えやすい構造を持っています。ツールを選ぶ、引数を決める、検索結果を読む、次の手順に進む。こうした判断が連鎖するため、各ステップの小さな不安定さが最終結果に積み上がります。温度を 0 にしても、判断候補が拮抗している場面では、わずかな差で別の経路を選ぶことがあります。
ここで前向きなのは、一貫性を「観測できる指標」として扱えるようになってきたことです。記事で紹介される Consistency Analyzer は、過去の実行軌跡から揺れやすい判断点を見つけ、その箇所を安定させるガイドラインに変換します。つまり、失敗後にプロンプトを勘で直すのではなく、どの判断が不安定だったのかを特定して補強する方向へ進めます。
実務で見るべき指標も変わります。PoC では Mean@k のような平均成功率で十分に見えるかもしれません。しかし、本番導入を判断する段階では Pass^k、つまり同じタスクを複数回実行してすべて成功する割合を並べて見るべきです。平均と再現性を分けて測れば、「賢いが任せにくいエージェント」と「多少地味でも安定して使えるエージェント」を区別できます。
AIエージェントの導入判断は、モデルの性能比較だけでは足りません。次に必要になるのは、成功した実行を再び成功させる設計です。エージェントを業務に入れる組織にとって、一貫性は後工程の品質保証ではなく、最初から評価項目に入れるべき運用要件になりつつあります。
関連記事
- Introducing Gemini 3.8 Live and 3.8 Live Extended Thinking
- New insights from Google’s AI & Economy ATLAS
- AI for everyone in every language
参考文献
コメント