理解GPU上的延迟隐藏 [pdf]

- 该技术报告来自加州大学伯克利分校EECS系（2016年），作者是当时的研究生，导师包括著名计算机架构师John L. Hennessy和David A. Patterson（RISC架构先驱、图灵奖得主）。 - GPU（图形处理器）最初为游戏和图形渲染而设计，但后来被广泛用于科学计算、机器学习和AI训练。其核心架构特点是拥有数千个计算核心，但依赖"延迟隐藏"技术来保持高效运行——即当某些核心等待数据时，立刻切换执行其他任务，不让计算单元闲置。 - 传统CPU设计侧重于通过缓存、分支预测等复杂机制减少延迟；而GPU选择"忍受"延迟，用大量并发线程来掩盖它。这篇论文通过实验测量，深入解释了GPU的延迟隐藏机制到底如何运作，以及它在不同计算模式下的表现。 - 这篇报告对理解现代GPU架构、以及为何GPU特别适合矩阵运算和大规模并行任务（如深度学习训练）有根本性的参考价值。