フロンティアモデルを使わなくても、顧客対応エージェントの成績は上げられるのでしょうか。
IBM Research の ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model(Hugging Face ブログ)は、この問いに具体的な数字で答えています。
- 旧世代の非推論モデル GPT-4.1 を使った標準的な ReAct エージェントが、τ²-bench の retail で Pass^4 67.5%(同じタスクに4回挑んで4回とも成功した割合)を記録
- 2026年10月12日時点のリーダーボードで、retail の全エントリを上回った
- モデルの重み更新も人手のアノテーションも使っていない
変わったのはモデルではなく、プロンプトに足されたルール
仕組みは次のとおりです。学習用タスクでのエージェントの試行を分析し、成功と失敗を「顧客の本人確認の進め方」「取引内容の確認」「返品の扱い」といった短い行動ルールに蒸留します。そのルールをシステムプロンプトに追記するだけです。ルールの抽出とエージェントの実行には同じ GPT-4.1 を使っています。
「より強いモデルへ乗り換える」以外の改善経路
これまでは、精度を上げたければ上位モデルへ乗り換えるか、ファインチューニングをするのが定石でした。ALTK-Evolve は、自分の過去の試行から学んだルールを足していくという第三の経路を示しています。
機会が大きいのは、すでに特定のモデルで運用していて、すぐには乗り換えられない現場です。ドメインポリシーを守ることが成否を分ける顧客対応では、運用で溜まる成功と失敗がそのまま改善の材料になります。
なお、今回の結果は retail 領域とリーダーボードの特定時点のスナップショットに基づく、開発元の報告です。自社の業務で同じ効果が出るかは、別途検証が必要です。
問いへの答え
少なくともこのベンチマークでは Yes です。成績を左右したのはモデルの新しさではなく、経験をルールに変えて再利用する仕組みでした。
出典:ALTK-Evolve(Hugging Face / IBM Research)
関連記事
- FairStress: A deeper evaluation of fairness in LLM decision-making
- NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation
- How 3 Java Champions are using GitHub Copilot for increased productivity
参考文献
コメント