「AIの回答は最後に人間が確認する」。生成AIの導入ガイドラインで、この一文はほぼ必ず出てきます。ハルシネーション対策の定番で、反対する人もいません。ただ、このルールがいつまで役に立つのかは、あまり議論されていません。
ハルシネーションは「減らせる問題」になりつつある
ハルシネーションとは、生成AIが事実と違う内容をもっともらしく出力してしまう現象です。ソフトバンクのビジネスブログに載ったハルシネーションの解説記事では、起きる原因と対策がまとめられています。対策として挙がっているのは、信頼できる情報源を参照させる仕組み（RAG）、プロンプトの工夫、人による確認です。総務省の令和6年版情報通信白書も、生成AIの課題として誤った情報の生成を取り上げています。
原因は分かっていて、対策もそろい、モデルの性能も上がり続けています。そう考えると、ハルシネーションは時間がたてば小さくなる技術課題に見えます。当面は「RAG＋人間の確認」で管理できると考えてもよさそうです。
確認する人間の側が先に崩れる
しかし、この考え方には見落としがあります。確認する人間の注意力は、AIの精度が上がるほど下がっていくという点です。
10回に3回まちがえるツールなら、使う人は毎回疑ってかかります。ところが100回に1回しかまちがえないツールになると、99回の「正しかった」経験が積み重なります。その結果、確認はただ目を通すだけの形式的な作業になっていきます。自動化された判断を信じすぎてしまう傾向は「自動化バイアス」と呼ばれ、以前から知られています。さらに、高精度なモデルの誤りは自然な文章の中にまぎれ込むため、見つけること自体が難しくなります。
つまり精度が上がると、誤りが出る回数は減ります。その一方で、出た誤りを見逃す確率は上がりかねません。
もう一つ、あまり聞こえてこない声があります。確認を任される現場の担当者の声です。「最終確認は人間が行う」と書いた時点で、誤りの責任は確認する人に移ります。それなのに、確認にどれだけ時間をかけてよいのか、何と照らし合わせて確認するのかは、決められていないことがほとんどです。
問われているのは精度ではなく、確認の負担を誰が持つか
ハルシネーション問題の本質は、AIの精度ではありません。誤りを誰が、どれだけの手間をかけて引き受けるのかという設計の問題です。
その意味で「人間が確認する」という一文は、対策ではありません。責任をどこに置くかを宣言しているだけです。対策と呼べるのは、たとえば次のような仕組みがあるときです。
- 出力の使い道ごとに、どこまでの誤りなら許せるかを先に決めておく
- 確認する人が照らし合わせられる出典を、出力と一緒に必ず示させる
- 確認に必要な時間を、業務時間としてはっきり確保する
「精度が上がったから確認を簡単にする」という判断は、自然に見えますが最も危険です。精度が上がったときこそ、確認を人の注意力に頼るのをやめて、仕組みとして組み込む必要があります。
人間による確認は、置いておけば守ってくれる安全装置ではありません。きちんと設計して初めて役に立つ工程です。
参考文献
- 総務省「令和6年版 情報通信白書」 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/html/nd141100.html
- 日経BOOKプラス https://bookplus.nikkei.com/atcl/column/100700574/100700001/
- ソフトバンク ビジネスブログ（ハルシネーション解説） https://www.softbank.jp/business/content/blog/202603/what-is-hallucination
関連記事
- TorchNeuron: running HF models on AWS Trainium is easier than ever
- Securing the agentic insider
- How to continue a GitHub Copilot app session in VS Code
参考文献
- https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/html/nd141100.html
- https://bookplus.nikkei.com/atcl/column/100700574/100700001/
- https://www.softbank.jp/business/content/blog/202603/what-is-hallucination
コメント