AI中心的数据黑洞

- Dwarkesh Patel 是一位知名的科技播客与博客作者，以深度访谈 AI 研究者（如 Demis Hassabis、LeCun）而闻名。他的文章常围绕 AI 前沿的未解决问题。 - 本文核心观点是：AI 模型的进步正在从“算法创新驱动”转向纯粹的“数据规模驱动”。模型架构改进带来的收益递减，迫使公司不断收集更多数据来维持性能提升。 - “数据黑洞”隐喻指：高质量训练数据（如人类生成的文本、图像）正在被迅速消耗殆尽。行业面临“数据墙”——可用的自然语言数据可能在几年内被完全用尽。 - 这引发两个关键问题：1) 合成数据（AI 自己生成的数据）能否替代人类数据？目前效果有限且容易导致模型退化。2) 如果数据无法继续规模化，当前通过 Scaling Laws 预测的 AI 进步曲线可能终止。 - 这一争论直接影响对 AGI 时间表的判断。若数据成为瓶颈，那么依赖“更多数据 + 更大算力”这一当前主流路径的可行性将受到根本性质疑。