The False Promise of Imitating Proprietary LLMs
Proprietary LLMs like GPT-4 have shown impressive performance, leading many to attempt imitation via fine-tuning on their outputs. This paper demonstrates that such imitation fundamentally cannot replicate the original model's capabilities, and relying on it leads to significant limitations. The authors argue that cheap imitation is a false promise, and true progress requires developing open-source models through legitimate means.
背景メモ
- この論文（2023年5月公開）は、OpenAIのGPT-4のような「プロプライエタリ（非公開）」な大規模言語モデル（LLM）を、オープンなモデルで模倣（蒸留）するアプローチの限界を批判的に検証したもの。
- 「蒸留」とは、高性能だがAPI越しにしか使えないLLMの出力を大量に収集し、それを教師データとして小さなオープンモデルを訓練する手法。低コストで「クローン」を作れると注目された。
- 著者らは、この戦略には根本的な限界があると主張。蒸留モデルは教師モデルのスタイルは模倣できても、教師の知識や推論能力の「分布の裾野」を再現できず、特に創造性や複雑な推論を要するタスクで性能が頭打ちになると示した。
- また、プロプライエタリモデル自体が更新や廃止されるリスクがあり、蒸留に依存するエコシステムは脆弱だと警告。真のオープンサイエンスには、データ・計算資源・訓練手法を公開する独立した研究開発が必要と論じた。
- この議論は、オープンソースLLM（Llama、Mistralなど）とクローズドな商用LLM（GPT-4、Claude）の対立軸を背景としており、AI業界の「オープンかクローズドか」という大きな争点に学術的な根拠を与えた重要な論文として知られる。