vllm-project/semantic-router

vLLM Semantic Router 位于 Agent Harness 与多个模型后端之间。Harness 保留自己的 agent 循环、工具和任务状态，而 Router 根据策略决定每次调用使用哪个已配置模型、或组合哪些模型。它面向已经使用多个本地、私有或云端模型，希望把这些路由决策集中到一处的团队，而不是在每个客户端里硬编码模型选择。

实际使用中的变化

你不再把一个 harness 接到单一模型，而是用 vllm-sr/auto 这类公共模型 ID 指向 Router 的推理端点（README、agent harness 设置）。策略层随后按输出质量、延迟、成本等偏好评估请求，并且可以选择或组合模型，而不只是挑一个（README）。该层还用于把调用限制在获准的位置，因此私有和云端后端可以在同一套路由规则下共存。

项目还发布了路由/决策模型及相关博客内容，包括 Decision 和 Vela 模型系列以及开放基础路由模型系列（Hugging Face、Vela 2.0 公告）。这些属于 Router 自身方案的一部分；采用 Router 并不要求你自己训练或托管它们。

项目提供的使用方式

• 安装并路由。 文档记录的安装方式是针对 stable 通道的 shell 安装脚本（安装脚本）；pip、uv 和由 agent 驱动的安装另有文档（安装指南）。Harness 的设置与兼容性见 agent-harness 指南（agent harness 设置）。README 徽章标明 Go 1.25（README）。
• 部署前试用。 提供了带共享凭据的公开在线 playground（playground）。这是演示环境，不代表生产部署。
• 运维推理层。 仓库 topics 和发布说明把它描述为带 guardrails 和 Mixture-of-Models 路由的 AI 网关，发布说明还提到有状态的生产路由与 fusion（代码库、v0.3 发布文章、fusion 文章）。

需要注意的条件

路由只在你配置的后端范围内工作。Router 会在“已配置的本地、私有和云端计算后端”之间选择（README）；它本身不提供模型容量。模型选择、位置约束以及质量/延迟/成本偏好都是你定义的策略，因此路由结果取决于你编写的策略，而非某个自动默认值。

README 没有说明所选后端失败时的回退行为，也没有说明 Router 自身的升级或回滚路径。这些内容在现有材料中未评估。项目采用 Apache-2.0 许可证（代码库）。

HotRepo 点评

现有唯一的趋势观测是 2026-10-29 的 6,310 stars，当天 +28（榜单数据）；单个样本无法说明趋势。仓库创建于 2025-08-26，现有材料中没有对路由质量或生产可靠性的独立评估。