スケーリング則、慎重に
大規模言語モデルの性能向上を支配する「スケーリング則」について、その理論的基盤から実践上の注意点までを包括的に解説。モデルサイズ、データ量、計算量の3要素がどのように相互作用し、性能に影響を与えるかを分析し、効率的な学習のための知見を提供する。
背景メモ
- 大規模言語モデル（LLM）には「スケーリング則（Scaling Law）」と呼ばれる経験則がある。モデルのパラメータ数・データ量・計算資源を増やすと性能が予測可能な形で向上する、という法則だ。
- この記事はLilian Weng（当時OpenAI、現在は個人として執筆）によるもの。OpenAIの安全性・アライメントチームの元リーダーであり、強化学習やAI安全性の分野で広く知られる。
- 2022年の「Chinchilla則」以降、業界では「データ量もモデルサイズも同時にスケールすべき」という合意ができた。だが実際には単に大きくすればいいわけではなく、学習率やバッチサイズなどの「ハイパーパラメータ」を適切に調整しないと効果が出ない。本稿はそうした調整の注意点を体系的に整理したもの。
- この話題が重要な理由：各社がGPT-4以降の次世代モデル開発を競う中、スケーリング則の正しい理解は研究資源の配分や学習効率に直結する。誤った解釈は数十億円単位の無駄を生む。