从零开始编写LLM，第32k部分——干预：通过梯度累积在本地训练更好的模型

作者在本地训练GPT-2小型风格LLM时，为了匹配云端训练的最佳批次大小效果，采用了梯度累积技术。通过将多个小批次的前向-后向传播梯度累积后再进行优化器更新，实现了等效大批次训练的稳定性优势，最终在本地RTX 3090上成功复现了云端训练的质量。