Show HN: Foreman, a self-hosted LLM gateway for cost aware model routing
Foremanは、コストを考慮したモデルルーティングを実現するセルフホスト型のLLMゲートウェイです。複数のLLMプロバイダーを統合管理し、リクエストごとに最適なモデルを自動選択することで、APIコストを削減しながら応答品質を維持します。GitHubで公開されているオープンソースプロジェクトです。
背景メモ
GitHubで公開された「Foreman」は、セルフホスト型のLLM（大規模言語モデル）ゲートウェイで、複数のAIモデル（OpenAI、Anthropic、ローカルモデルなど）へのアクセスを一元管理し、コストとパフォーマンスを考慮してリクエストを最適なモデルに自動ルーティングする。
- LLMゲートウェイとは：アプリケーションと様々なLLMプロバイダーの間で、APIキー管理、リクエストルーティング、ログ記録、コスト制御を担う中間層のこと
- コスト意識のあるルーティング：Foremanはプロンプト（入力）ごとに、最適なモデルを自動選択。例えば、簡単な質問には安価なモデル、複雑なタスクには高性能モデルを割り当てることで、ユーザーは手動でモデルを選ぶ必要がなくなる
- セルフホスト型：Foremanは自前のサーバーで動かすオープンソースソフトウェア。外部サービスに依存せず、データ管理やカスタマイズの自由度が高い
- 背景：LLMの急増により、企業や開発者は「どのモデルをいつ使うべきか」という判断に悩む。API費用はモデルによって大きく異なり（例：GPT-4はGPT-3.5の数十倍）、手動切り替えは非効率。Foremanはこの「モデル選択の煩雑さ」を解決するツール