M* (M-Star): マルチモーダルモデルのためのモジュール型・拡張可能なサービングシステム

- M*（M-Star）は、スタンフォード大学が開発したマルチモーダルAIモデル（画像・テキスト・音声などを同時に扱うモデル）を効率的に運用するためのオープンソースのシステム。発表は2025年3月。 - 従来の推論サーバー（LLMをデプロイするためのインフラ）はテキスト特化型が多く、複数の「モダリティ」（データ種類）を扱うモデルでは処理速度や互換性に課題があった。M*はモジュール構造により、様々なモデルアーキテクチャ（Transformer、Mamba、拡散モデルなど）を一つのシステムで統一的に処理できる。 - 特徴は「計算グラフの動的最適化」：モデル内部の処理手順を実行時に自動で調整し、GPUメモリを節約しながら遅延（レイテンシ）を低減する。既存のvLLMやTGIといったシステムの限界を超える設計。 - コードはGitHubで公開されており、研究コミュニティや企業が自社のモデル推論パイプラインに組み込むことが可能。LLMや画像生成モデルを実運用するエンジニア層への影響が大きい。