利用GPU快照技术减少GVisor冷启动时间
本文探讨了如何通过内存快照技术来加速GPU工作负载的冷启动过程，将CUDA应用的恢复时间从分钟级缩短至秒级。Cerebrium提出了一种创新方法，通过保存和恢复GPU状态快照，使得无服务器GPU环境中的工作负载能够几乎即时启动，显著提升资源利用率和用户体验。
背景速读
- Cerebrium 是一家提供无服务器 GPU 推理服务的初创公司，对标 AWS SageMaker 等云平台，但主打更低延迟和更简单的部署体验。
- GPU 冷启动（Cold Start）是无服务器推理的痛点：当流量空闲后，GPU 资源被回收，下一次请求来时需重新加载模型和 CUDA 环境，耗时可达数分钟。
- GPU 快照（Memory Snapshotting）技术能在 GPU 处于就绪状态时保存其显存和 CUDA 上下文快照，后续请求直接从快照恢复，将冷启动从分钟级缩短到秒级。
- 该技术借鉴了传统 CPU 的 Checkpoint/Restore（如 CRIU），但 GPU 显存状态更复杂，需要对 CUDA 内部状态做完整快照。
- 对于运行大规模 AI 推理（如 Llama、Stable Diffusion）的团队，这项优化能显著降低资源浪费和响应延迟，使无服务器 GPU 更具可行性。