スクラッチからのLLM構築、パート32h -- 介入: フルスペックのfloat32

この記事では、AMP（自動混合精度）と低精度行列乗算の最適化を無効にし、完全なfloat32精度でGPT-2小型ベースモデルを訓練した実験について報告しています。結果、テスト損失はわずかに改善したものの、訓練時間とコストが大幅に増加し、実用的なメリットは限定的であると結論づけています。