IatroBench：来自AI安全措施医源性伤害的预先注册证据

- IatroBench 是一个新发布的基准测试框架，用于评估AI安全措施是否会产生"医源性伤害"——即原本旨在防止滥用的安全机制反而导致了可测量的负面后果。 - "医源性伤害"（iatrogenic harm）借自医学，指治疗本身引发的不良后果（如药物副作用）。在AI语境下，指安全对齐、拒绝回答、内容过滤等保护措施可能误伤合理使用、降低模型效能或造成其他意外损害。 - 该论文强调"预注册"（pre-registered），意味着实验设计、假设和分析计划在数据收集前就已公开登记，以提升研究可信度、降低p值操控等可疑研究实践的风险。 - 这项工作反映了学界对AI安全措施"双刃剑"效应的日益关注：安全机制可能在减少某些风险的同时引入新的系统性风险，例如过度拒绝合法请求导致模型可用性下降，或安全训练方法损害模型在无害任务上的表现。