Ask HN: 最新のLLM間でコーディング性能の向上を実感できる人はいますか？
本稿では、最新世代のLLM（大規模言語モデル）がコーディング支援において、以前のモデルと比べて実際に改善を感じられるのかという疑問を提起しています。筆者は現在のモデル間で有用性に大きな差を感じていないと述べ、逆に顕著な改善を実感した事例をコミュニティに問いかけています。
背景メモ
- Hacker News（HN）は、米スタートアップアクセラレーターY Combinatorが運営する技術者向け掲示板。Ask HNはコミュニティに質問を投げかける投稿形式。
- この投稿は、コーディング用途におけるLLM（大規模言語モデル）の進歩が頭打ちになっているのではないか、という懐疑的な問いかけ。2023〜2024年にかけてGPT-4やClaude 3、Geminiなどが次々に「コード生成の能力が飛躍的に向上した」とリリースされたが、ユーザー実感としては最近のバージョン間で差を感じにくくなっている、という趣旨。
- LLM for codingは、GitHub Copilot（GitHub/Microsoft）、Cursor、Windsurfなどが代表的。OpenAIのo1やo3、AnthropicのClaude Sonnet/Opusが最新世代とされる。
- この質問が意味を持つ背景として、LLM業界では「ベンチマークスコア（HumanEval, SWE-benchなど）は上がっているが、実際の開発現場での体感品質は頭打ち」という議論が一部で起きている。