论 PyTorch 在高性能计算中的效能

本文评估了 PyTorch 在高性能计算（HPC）场景下的实际效能，探讨其在深度学习框架之外的应用潜力。研究分析了 PyTorch 在分布式计算、内存管理与数值计算等方面的性能表现，并与传统 HPC 工具进行了对比。结果表明，PyTorch 在特定领域能够提供具有竞争力的计算效率，但仍有待优化以适应大规模科学计算需求。

背景速读

- PyTorch是Meta（原Facebook）开发的开源深度学习框架，近年来在AI领域广泛流行。但它在传统高性能计算（HPC）领域——即用于科学模拟、气候建模、物理研究等场景，而非训练大语言模型——原本并不受重视，因为HPC社区长期使用C++/Fortran加MPI等底层方案。 - 这篇论文系统评估PyTorch是否真的适用于HPC工作负载，而非仅仅用于神经网络训练。研究的核心问题是：PyTorch在科学计算场景下的性能、可扩展性和编程便利性，能否与传统的HPC工具匹敌？ - 随着AI与科学计算的融合（如用AI加速物理模拟、药物发现），PyTorch能否"一统"两个领域成为一个关键问题。该论文发表在ACM超算顶会SC'24上，提供了首次系统性的跨场景性能对比，对该方向的工程决策有直接影响。