Anthropic 网络越狱披露计划
Anthropic 推出了网络越狱披露计划，旨在邀请安全研究人员发现并报告其 AI 系统中的越狱漏洞。该项目通过 HackerOne 平台运行，鼓励研究人员负责任的披露能够绕过 Anthropic 模型安全限制的攻击方法，以帮助提升 AI 系统的安全性和鲁棒性。
背景速读
- Anthropic 是一家人工智能安全公司，由前 OpenAI 员工创立，主打"负责任的 AI"，其核心产品是大语言模型 Claude。
- "越狱"（jailbreak）指通过精心设计的提示词，绕过 AI 模型的安全限制，使其输出原本被禁止的内容（如有害指令、敏感信息等）。
- "漏洞悬赏"（bug bounty）是网络安全领域的常见做法：公司公开邀请安全研究者寻找并报告漏洞，根据严重程度支付奖金。
- Anthropic 此前已多次更新 Claude 的安全防护，但对抗越狱一直是行业难题。这个项目专门针对"越狱"这一特定攻击类型，而非一般软件漏洞。
- 该项目在 HackerOne 平台上运行，HackerOne 是业内最大的漏洞悬赏平台之一，许多科技公司（包括 Google、微软、Meta 等）都通过它管理安全研究者的提交。