那么，下一个词元预测将把我们带向何方？

本文探讨了大型语言模型中核心范式——下一个词元预测（Next-Token Prediction）的局限性与深远影响。作者反思了这一看似简单的自监督目标如何催生出强大的推理能力和涌现行为，同时也指出了其根本性的弱点：模型本质上是在模拟人类文本的表面统计模式，而非真正理解世界或具备因果推理能力。文章进一步讨论了这一范式对人工智能未来发展的启示，包括是否需要在训练目标中加入更多结构性约束，以迈向更接近真正理解的智能体。