sgl-project/sglang-omni

项目介绍

SGLang-Omni 是面向全模态、语音和 TTS 模型的多阶段服务运行时。它的核心设计是多阶段解码：把生成过程拆成预处理、编码器、自回归引擎、talker、解码器、vocoder 和聚合器等异构阶段，各阶段的算力特征、依赖关系和资源需求都不同。运行时负责流水线拓扑、阶段生命周期、阶段间传输、模型族集成层和 OpenAI 兼容服务面，并在适用的自回归调度与模型执行上复用 SGLang。详见项目文档。

它对外提供多模态对话、语音生成、批量与流式语音、上传音色、转写，以及实时全双工对话等接口。支持的模型覆盖 Qwen3-Omni、MiniCPM-o、Ming-Omni、多款 TTS 与 ASR 模型、说话人分离、语音翻译、音乐生成和图像/视频生成，各模型的上手步骤见 Cookbook。

快速使用

1. 从 PyPI 安装 v0.2.0 预发行版：

   uv pip install --prerelease=allow "sglang-omni==0.2.0"
   

   完整环境准备见安装指南。
2. 按对应模型页启动服务；不同模型的名称、启动命令和所需卡数各不相同。可从 Qwen3-Omni 模型页开始体验多模态对话，或从 Qwen3-TTS 模型页开始语音生成。
3. 调用 OpenAI 兼容接口，例如用 /v1/audio/speech 做语音生成，用 /v1/audio/transcriptions 做 ASR。具体请求格式和模型特有参数以各模型页为准。

此外，Mac 语音输入工具 Voxt 集成了 SGLang-Omni 做本地语音识别，提供面向 Apple Silicon 的预编译镜像下载。

硬件与兼容性

NVIDIA CUDA 是默认后端，覆盖全部模型。Intel Arc GPU 通过 PyTorch XPU 受支持，文档列出了可端到端服务的模型集及各自的启动命令，见 Intel XPU 指南。Apple Silicon 为实验性支持，目前仅 Qwen3-ASR 通过 Torch MPS 运行，需使用仓库的 install.sh 安装。

项目采用 Apache-2.0 许可证。批量、流式和音色克隆等语音生成能力因模型而异，使用前应核对对应模型的说明页。

HotRepo 点评

HotRepo 记录到 SGLang-Omni 在 2026-11-11 的 Python 日榜上位列第 5，当日新增 19 个 Star，总 Star 数为 1,752，Fork 数为 719。这仅是单次快照当天在语言榜上的名次，不构成趋势判断；从技术上看，它的突出之处在于用一个 OpenAI 兼容运行时覆盖了从全双工对话、ASR 到音乐和图像生成的广泛模型范围。