Miles: A PyTorch-Native Stack for Large-Scale LLM RL Post-Training
MilesはPyTorchネイティブのスタックで、大規模LLMの強化学習（RL）によるポストトレーニングを効率的に実行します。分散処理と柔軟なRLアルゴリズム設計をサポートし、LLMの性能向上と実運用への展開を加速します。
背景メモ
- PyTorchはMeta（旧Facebook）が中心となって開発する、世界で最も普及している深層学習フレームワークの一つ。研究・実運用の両方で広く使われる。
- 「LLM（大規模言語モデル）のRL（強化学習）ポストトレーニング」とは、ChatGPTのような大規模言語モデルを、事前学習の後により高度なタスク（特に人間の好みに合わせる調整）向けにさらに訓練するプロセス。RLHF（人間のフィードバックからの強化学習）が代表例。
- Milesは、このLLMのRLポストトレーニングを大規模に行うための、PyTorchネイティブなソフトウェアスタック。従来、こうした大規模RL訓練には専用の大規模分散システムが必要だったが、MilesはPyTorchの標準機能（FSDP, DTensor, torch.compileなど）を統合し、大規模環境でも効率的に動作するよう設計されている。
- 具体的には、ポリシー・価値関数・報酬モデル・参照モデルの4つのモデルを同時に動かすRL特有の計算パターン（PPO: Proximal Policy Optimization）を、数十億～数百億パラメータ規模で高速に処理できる。ベンチマークでは従来比で1.5～2倍以上のスループット向上を報告。
- この発表の意義：LLMの性能向上の鍵となるRLポストトレーニングを、特定の大企業の専有システムに頼らず、オープンなPyTorchエコシステムだけで大規模実行できる道を開く点。