「シニア投資家の判断と88.6%一致」と聞いて、評価を任せてよいと思えるでしょうか。
OpenAIが公開した事例 Terminal X matches senior investor judgment 88.6% with GPT-6.1 では、Terminal XのEval Agentが、出力を54項目のルーブリックで採点しています。GPT-6.1 Solの利用で、ファンドの運用方針(マンデート)からの逸脱を25%多く検出できたとされています。
「感覚の採点」から「基準の採点」へ
Beforeは、専門家が出力を読み、経験に基づいて「何かおかしい」と判断する運用です。腕は確かでも、人数と時間に上限があります。
Afterは、判断基準を54項目に分解し、評価専用のエージェントが同じ物差しで毎回採点する運用です。たとえば「運用方針で禁じた領域に踏み込んでいないか」といった確認を、出力のたびに機械的に回せます。
機会はどこにあるか
この事例で価値が大きいのは、評価の仕組みそのものを資産にできる点です。ルーブリックは一度作れば再利用でき、モデルを入れ替えても同じ基準で比較できます。専門家は全件を読む役から、基準を磨き、例外を見る役へ移れます。
一方で、88.6%は「専門家との一致度」であり、残りの約1割は食い違っています。この差が許容できるかは、用途ごとに決めるべき判断です。まずは人間のレビューと並走させ、一致しない箇所を基準の改善に使う導入が現実的でしょう。
冒頭の問いへの答えは「全面的な代替ではなく、専門家の判断を基準として固定し、拡張する手段として使える」です。
出典: Terminal X matches senior investor judgment 88.6% with GPT-6.1
関連記事
- AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms
- Hugging Face ❤️ TorchTPU: TPUs, Natively
- ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model
参考文献
コメント