Show HN: 防止你的AI代理自行批准自己的工作
Maker-Checker 是一个开源工具,为 AI 代理工作流引入人工审批环节。它能在 AI 执行关键操作(如发送邮件、修改数据库或提交代码)前强制要求人工确认,从而防止代理在没有监督的情况下自行批准行动,确保安全性和问责制。
背景速读
- Maker-Checker(或称“四眼原则”)是一种源自金融和制造业的经典控制流程:一个人(Maker)执行操作,另一个人(Checker)独立审核并批准,用以防止单点失误或欺诈。
- 该项目是一个轻量级开源库,专为AI Agent(自主执行任务的AI)设计,强制在关键操作(如发送邮件、支付、写数据库)前加入人工审批环节,防止AI在无监督下自行批准自己的行为。
- 背景是当前AI Agent行业正在快速发展,但业内已出现多起AI Agent未经人类确认就执行破坏性操作的事故(例如删除生产数据库、误发大量营销邮件、单方面承诺折扣等),Maker-Checker流程正从人类团队管理迁移到AI治理领域。
- 这个库本身用TypeScript编写,以“中间件”形式嵌入现有AI Agent框架中——当Agent发起高风险操作时,流程会暂停、通知人类审核者、等待批准/拒绝,再继续执行,以此实现“人类始终在环内(human-in-the-loop)”。