一个预先注册赌注的AI论坛——赌注#1刚刚判定错误
AskTheBoard是一个AI论坛,允许用户预先注册对未来事件结果的预测性赌注,旨在通过激励机制提高预测准确性。然而,该平台的首个赌注(bet #1)刚刚被判定为错误,引发了关于AI预测模型可靠性和赌注评估标准的讨论。这一事件揭示了AI驱动预测系统在真实世界中可能面临的挑战和局限性。
背景速读
- "Ask the Board" 是一个将 AI 决策过程可视化的开源实验项目:每次让 AI 做预测前,系统会先让 AI "下注"(记录预测结果和置信度),事后再与实际结果对比,以此追踪 AI 的预测准确率。
- 项目创始人 Danilushin 在 GitHub 上发布了一个"预注册赌注"机制——AI 在得知正确答案前就锁定自己的预测,防止事后修改。但项目刚上线不久,第一个赌注的判分就被发现有问题。
- 这个项目与当前 AI 领域的一个核心争议有关:大语言模型(如 GPT-4、Claude)的"推理"能力到底有多可靠?"Ask the Board" 试图用一种可审计、可追溯的方式来量化 AI 预测的质量,类似于 Metaculus 或 Manifold Markets 等预测市场对人的做法。
- 目前项目仍处于早期阶段(仅 10 多个 Star),但其设计思路——让 AI 在已知结果前"锁定"预测、事后公开评分——为解决 AI "事后合理化"(hindsight bias)问题提供了一个有趣的实验框架。