NVIDIA-NeMo/Switchyard
AI 工程让 AI Agent 和 LLM 网关按请求选择模型的 Rust 路由库,兼顾成功率、成本与延迟。
项目介绍
Switchyard 是一个面向 LLM 应用的开源路由库。它不让每个请求都走同一个模型,而是在 Agent 运行过程中判断本次请求该交给配置池里的哪个模型,用便宜高效的模型处理简单请求、能力更强的模型兜住难任务,从而在任务成功率、成本和延迟之间做权衡。目标用户是自己持有模型客户端、凭据和服务的网关开发者与 Agent 框架维护者。
核心是 Rust 库 libsy。路由算法查看请求或 Agent 最近的工具调用活动,部分算法会调用一个决策模型来评估任务,然后返回选择结果;真正的模型调用由你的网关或 Agent 完成。随着 Agent 继续工作,路由可以动态变化。
路由方式与组件
对外提供四种命名选择:Auto 是默认预设,等价于高效优先的 Stage 路由加 0.5 置信阈值;Task 由 LLM 分类器判断高效模型能否胜任;Execution 用工具活动和结果信号做 Stage 路由;Composite 把两者结合,在执行信号不确定时由分类器决定模型档位。escalation、advisor、sub-agent、Plan/Execute、random 等策略列在路由总览中,但各网关的支持程度不同,选择前需查看对应集成说明。
组件成熟度不同:switchyard-libsy 为 Beta,switchyard-llm-client 和 switchyard-runner 为 Alpha,独立代理 switchyard-server 仅供演示。整体处于 1.0 之前,API 和配置可能随版本变化。
快速使用
README 给出三条路径:
- 接入现有网关。 OpenRouter 提供托管版本,在 API 请求中把
model设为nvidia/switchyard即可。自托管可选基于 Envoy 的 Agent Router(OpenAI 兼容 API)、实验性的 LiteLLM 插件(锁定 LiteLLM 1.102.0),以及需要 Relay >=0.10.0,<1.0.0 的 NeMo Relay 原生插件。 - 嵌入 libsy。 按 Rust 快速上手或 Python 绑定操作。在 Rust 中,
Algorithm::run_stream会依次返回Step::CallModel、Step::CallDecision和Step::Done;你的代码发出模型请求,把类型化响应交回call.respond(...),再返回或转发最终答案。算法、模型池、请求和 Agent 状态都需要你提供。 - 本地评估。 用演示服务器和自己的模型池比较不同路由配置与单模型基线的差异,并确认路由确实生效。实验性的桌面与终端快速上手覆盖本地安装、连接编码工具、会话、用量、恢复和卸载;另有 pi、Oh My Pi、VS Code Copilot Chat 和 Claude Code 的集成指南。
使用约束
- 独立服务器只用于演示和本地评估,不是受支持的生产部署方式;生产使用需要嵌入库或接入网关。
- 1.0 之前,建议锁定版本,并预期 API、配置和路由行为变化。
- 更便宜的模型调用不等于更便宜的成功任务,需按调优流程用完整 Agent、模型池和路由配置对比单模型基线。故障排查文档列出了会让路由静默失效的设置。
- 网关限制会影响算法可用性,例如 LiteLLM 插件无法处理分类器或升级类算法所需的中间模型调用;启用 Relay 插件时,Relay 0.8.x 和 0.9.0 可能丢失上游错误状态和详情。
许可证与基准
采用 Apache 2.0 许可,版权归 NVIDIA Corporation。仓库同时发布 Terminal-Bench 2.1 和 DeepSWE 的基准配置,浸透测试文档介绍延迟与路由开销测试方法。
HotRepo 点评
该项目自 2026 年 8 月起进入 GitHub 日榜记录:当时全部语言日榜显示单日新增约 370–408 Star,总量从 668 涨到 1,367。到 2026-11-17 的 Rust 语言日榜记录,已达 3,615 Star、374 Fork,位列 Rust 日榜第 6,当日新增 41 Star。早期全语言榜单的增长值得注意——一个多模型路由库获得跨语言关注;如今停留在 Rust 语言榜,说明受众收窄到 Rust 生态。采用前最该权衡的是 README 自己强调的两点:独立服务器仅为演示,各组件仍处于 Beta 或 Alpha。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- experientiallabs/experiential一个可自建的网关,把智能体流量分发到各家模型,再用收集到的 trace 拟合自己的路由或模型。
- jasonxu114514/opencode2api把 OpenCode Zen 的三种 API 协议统一成 OpenAI/Anthropic 兼容入口,并管理上游 key 与代理池的自建网关。
- tashfeenahmed/freellmapi把 34 家 LLM 免费额度汇总成一个 OpenAI 兼容端点,带路由和故障转移,适合个人试验。
- songquanpeng/one-api自托管 LLM API 网关,把多家模型统一成 OpenAI 兼容接口,并提供渠道、令牌和额度管理。
- eliasbiondo/antirion面向多模型调用的自托管网关,统一处理路由、预算、防护规则与请求观测。