M* (M-Star)：面向多模态模型的模块化、可扩展服务系统
M*（M-Star）是一个模块化、可扩展的服务系统，专为多模态模型设计，旨在高效部署和运行多种类型的AI模型。该系统通过灵活的架构支持图像、文本、音频等多种输入模态，帮助研究人员和工程师更便捷地构建和扩展多模态AI应用。
背景速读
M* 是斯坦福大学开发的一个开源 AI 推理系统，专门用于部署和运行多模态大模型（既能理解文本，也能理解图像、视频等）。当前业界常用的推理系统（如 vLLM、SGLang）主要优化纯文本大模型，处理多模态数据时效率较低。M* 通过模块化设计，让图像、视频等非文本数据在推理过程中能够被高效处理，同时保持与现有文本模型生态的兼容性。该项目代表着 AI 基础设施层的一个重要演进方向——随着 GPT-4V、Gemini 等多模态模型成为主流，专门的推理系统将成为支撑这些模型落地的关键工程组件。