sgl-project/sglang

解决什么问题

模型一旦从 notebook 走向并发请求，吞吐和延迟就变成工程问题：变长序列批处理、KV cache 显存管理、结构化输出、多模态输入，以及现在很常见的 agent 多轮对话和 RL rollout 流量。SGLang 就是针对这一层做的推理与服务框架：它把优化过的 attention、调度和运行时打包在一起，覆盖 LLM、视觉语言模型和扩散模型，而不是让你自己拼一套。

有什么不同

SGLang 最初以它的前端语言和 RadixAttention 式前缀复用出名，这个编程模型视角至今仍影响它处理约束解码和共享前缀的方式。更少见的是硬件覆盖面：README 列出 NVIDIA、AMD、Google TPU、Intel GPU/CPU、Apple Silicon、华为 Ascend 和摩尔线程，还有若干平台在推进中——如果你不是单一厂商的 GPU 集群，这一点很关键。它还把扩散引擎内置在仓库里，音频服务放在同生态的子项目中，一套栈覆盖文本、图像/视频和（经子项目的）语音。最常被拿来对比的是 vLLM，README 自己也承认借鉴了它；代价是 SGLang 的表面积更大、平台相关代码路径更多。

适合谁

适合自建推理集群的平台工程师和推理工程师，尤其是做 agent 负载、前缀共享多、需要 RL rollout 生成，或者要同时服务 LLM/VLM/扩散模型的团队；也适合被绑在非 NVIDIA 加速器上的团队。不适合只想调托管 API 的人，也不适合单人笔记本跑 demo——那种场景用轻量本地运行器或托管端点更省事。如果你只需要单一模型类型、单一 GPU 家族，并且想尽量少运维，更精简的引擎可能更便宜。

上手成本

README 给了两条入口：Docker 镜像（docker pull lmsysorg/sglang:latest）和 uv pip install --prerelease=allow sglang，后者的参数暗示部分依赖还在预发布阶段。需要 GPU 级硬件，驱动和 CUDA/ROCm/torch 版本要跟上游对齐，各平台还有各自的构建坑。License 是 Apache-2.0，由 LMSYS 托管，有贡献指南、roadmap 和 release notes，治理看起来稳定。README 本身以链接和生态表格为主，真正的运维细节在文档和 cookbook 里，也没有给出基准数字——上线前务必在自己的硬件上实测。

点评

项目大约两年半，约 3.78 万 star、9.9k fork；在 HotRepo 首次记录到的这一周里，它进入 Python 周榜第 14，单周 +511 star。长期增长叠加近期爆发，说明这是已经立住的推理引擎在获得新关注，而不是昙花一现的项目。Hacker News 上几乎没水花（一个帖子、1 分），说明受众是实践者而非大众。如果你自建推理，它值得在 vLLM 旁边占一个基准测试位；如果你追求最小运维复杂度，它的覆盖面既是卖点也是成本。