感情支援チャットボットのための多言語オーディター・ジャッジ安全ベンチマーク

- 本論文は、感情サポートを提供するチャットボット（AIカウンセラーやメンタルヘルス・アシスタントなど）の安全性を多言語で評価する新しいベンチマーク「Auditor-Judge」を提案している。 - 従来のAI安全ベンチマークは英語偏重で、かつ「有害な内容を出力しない」という狭い安全性しか測っていなかった。しかし感情サポートボットは、ユーザーが脆弱な心理状態にある時に使われるため、技術的には有害でなくても「共感の不足」「不適切なアドバイス」「依存の誘発」など、より微妙な害が生じうる。 - 本ベンチマークは、AIが自ら「監査役（Auditor）」としてテストケースを生成し、別のAIが「審判（Judge）」として回答を採点するという自動評価パイプラインを採用。人手評価に頼らず大規模かつ多言語で実施可能。 - 評価対象は日本語を含む6言語で、OpenAIのGPT-4o、AnthropicのClaude 3.5 Sonnet、GoogleのGemini 1.5 Proなど主要な大規模言語モデルを比較。結果として、どのモデルも感情サポート領域ではまだ安全面で課題が多く、とくに日本語・中国語などの非英語で性能が低下する傾向が確認された。 - この研究の意義は、AIの「安全性」を暴力的・差別的なコンテンツ防止から、心理的ケアという高リスク領域での繊細な振る舞いへと拡張した点にある。感情サポートAIの実用化が進む中、規制や品質保証の基盤として注目される。