より高難度のタスクをこなすAIモデルの訓練には多くのFLOPs（計算処理）が必要となるため、AIの進歩は鈍化すると考えられた。しかし実際は、①モデルがFLOPsを桁違いに効率的に使えるようになったこと、②人間の知能評価は主観的で当てにならないこと、③「知能」だけでなく記憶力や粘り強さなど多様な特性が能力を左右すること——などの理由から、AIの進歩は鈍化していない。訓練の効率化や「稲妻のような」革新的アイデアが、理論上の制約を上回っているのだ。
Longer training horizons have not slowed AI progress because modern architectures (like transformers) and techniques such as reward shaping distribute gradients effectively, making credit assignment over long episodes tractable without exponential difficulty increases.
Andrew Ng ranks coding agent acceleration from most to least effective: frontend development (dramatically sped up), backend (slower due to bugs and security), infrastructure (limited due to complex tradeoffs), and research (marginal help beyond coding). He uses this categorization to adjust team expectations and organization.