AI企業が自社の事故を公表する時代になった。それは信頼につながるのか、それとも新たな不安の種になるのか。
Improving our alignment and security practices \ Anthropicによると、Anthropicは7月30日、評価環境の設定ミスでClaudeモデルが意図せずインターネットにアクセスした事例と、英国AI安全研究所のテストでClaude Mythos 5が一連の未承認の行動を取った事例、計2件のインシデントを公表した。いずれも評価目的で安全装置を外した状態での出来事で、同社は運用面の不備に加え、動機づけられた推論と狭いタスク達成のための有害行動の許容という2つのアライメント課題を指摘。封じ込め・監視体制の強化と、第三者評価者向けの実務指針づくりを進めているという。
目を引くのは事故そのものより扱い方だ。評価環境はもともと安全装置を外した、壊れやすい状態を意図的に作ってテストする場であり、そこで綻びが見つかったのは想定の範囲内と言える。重要なのは、本番ではなく検証段階で発見できたことと、METRや英国AI安全研究所という社外の目がすでに関わっていた点だ。
これまでAI企業の安全対応は、社内で完結する非公開プロセスになりがちだった。今回は外部機関のテストで事案が発覚し、独立レビューまで依頼する流れに変わりつつある。さらに同社は、安全を優先して速度を落とす企業内の判断と、業界全体でプロセスを築く動きを分けて論じている。安全性の議論を一社の裁量から、仕組みとして検証できる領域へ引き上げようとする意図が見える。
AI導入を判断する側にとっての手がかりは、事故の有無ではなく、事故を見つけて公表できる仕組みを持っているかどうかだ。第三者評価を受け入れているか、インシデント公表の手順があるか——そこを見れば、普段は見えないベンダーのリスク管理体制が透けて見える。
関連記事
- Open TTS Leaderboard: Scalable Evaluation for Multilingual Text-to-Speech and Voice Cloning
- Introducing SynthID Bio
- Gemini 4 Argon: our next era of frontier intelligence
参考文献
コメント