面向情感支持聊天机器人的多语言审核-判断安全基准

本文提出了一个针对情感支持聊天机器人的多语言审核-判断安全基准。该基准通过设计多语言场景下的情感对话测试集，评估聊天机器人在提供情感支持时是否会生成不安全或有害内容。实验结果表明，现有模型在多语言情感支持场景中存在显著的安全漏洞，特别是在非英语语言中表现更为突出。

背景速读

- 这篇论文提出了一套针对"情感支持聊天机器人"的安全评估基准（Multilingual Auditor-Judge Benchmark），核心是让一个"审计员"模型生成情感支持场景的对话，再让一个"裁判"模型判断机器人的回复是否安全、得当。 - 研究背景：情感支持聊天机器人（如心理健康辅导、情绪陪伴类AI）近年来快速发展，但其安全性缺乏系统评估，特别是跨语言场景下可能出现文化敏感内容、误导性建议或不当共情。 - 关键设计：使用GPT-4等大语言模型同时扮演"审计员"（生成测试用例）和"裁判"（打分/分类），试图自动化构建评估数据集，减少人工标注成本。 - 现实意义：情感支持类AI正被用于心理咨询、孤独感缓解等场景，安全漏洞可能导致用户心理伤害。该基准试图填补多语言、多文化背景下安全性评估的空缺。