The Fourth Scaling Law
This article discusses the emerging "Fourth Scaling Law" in AI, which suggests that beyond data, compute, and model size, the fourth dimension of scaling is inference-time compute—allocating more computational resources during reasoning to unlock higher performance and deeper capabilities from language models.
背景メモ
- このポストで言及されている「第4のスケーリング則」とは、AIモデルの性能向上に関する経験則。従来は「モデルサイズ」「データ量」「計算量」の3つが重要とされてきたが、近年は「推論時の計算量（テスト時計算）」を増やすことで性能が飛躍的に向上するという新たな法則が注目されている。
- 具体的には、OpenAIのo1やo3、DeepSeekのR1などの「推論モデル」が該当。これらのモデルは答えを生成する際に内部で長い「思考の連鎖（Chain of Thought）」を行い、そのプロセスに多くの計算リソースを投じることで、従来の単純なスケーリングでは達成できなかった高度な推論能力を実現している。
- この観測は、AIの性能向上が単に「より大きなモデル」や「より多くのデータ」だけでなく、「推論により多くの計算時間をかける」という新たな軸でも進むことを示唆しており、AI業界の研究開発の方向性に大きな影響を与えている。