Mesh-LLM/mesh-llm

Mesh LLM 让多台机器贡献 GPU 与内存来运行 LLM 推理，对外只暴露一个兼容 OpenAI 的 /v1 API（默认 localhost:9337）。它适合已经有一台或多台 GPU 机器、想本地运行开放权重模型、通过邀请制私有共享或公网发现来共用算力，并让 Agent 工具指向同一个端点而不依赖商业 API 的用户。

聚合机制

Mesh 构建在 Skippy 之上：Skippy 负责模型管理、基于 llama.cpp 的原生运行时、拆分执行与 OpenAI 服务，Mesh 在其上增加节点发现、传输、路由、插件和 Web 控制台 README。路由策略比较务实：若单台机器能放下完整模型，就直接本地推理、不产生阶段间流量；否则按请求里的 model 字段转发给能提供该模型的节点。对单机放不下的大模型，Skippy 会把模型切成连续层段分发到多个节点，调度方等下游阶段就绪后才发布 stage-0 路由 拆分服务说明。

节点间流量（包括推理请求和拆分激活值）走 QUIC 端到端加密，Iroh 中继转发加密包但不读取内容。私有网格只能凭邀请令牌加入，公开网格则通过 Nostr 发现机制广播。卸载可执行文件时，~/.mesh-llm 里的配置和身份默认保留，只有显式传 --purge-config 才会清除，因此可以先预览清理结果 README。

使用方式

• mesh-llm serve --auto：加入最优的公开网格、按需下载模型，并启动 API 与控制台。
• --model <catalog-name> 启动私有网格；--publish 使其可被发现；--join <token> 凭邀请加入 网格指南。
• mesh-llm serve --local-model-only --gguf <绝对路径> 明确是调试/开发用拓扑：不启用 QUIC、发现、拆分、插件和控制台，模型放不下时直接失败而不会退回分布式推理，也不是面向 OpenAI 客户端（含工具调用）的生产路径。路径必须是绝对路径的 GGUF 文件且不能是符号链接。
• API-only 客户端模式复用同一网格，但不承担 GPU 计算。

文档还提供 Goose、Claude Code、OpenCode、Pi 的接入方式，以及 model: "mesh" 把一次请求并行分发给网格内所有模型的 Mixture-of-Agents 模式 Agent 指南。MoA 标注为实验特性：路由、错误格式和调参可能随版本变化，且至少需要两个不同模型 MoA 设计。Flash-MoE 与 DwarfStar 是可选的插件式后端，不是基础依赖 插件文档。

要求与注意事项

作者将项目定位为实验性的分布式系统软件。Skippy 已评审的模型族矩阵覆盖 72 个 P0/P1 条目，包括 Qwen、Llama、Gemma、Mistral、DeepSeek、GLM、MiniMax、Phi 等；拆分式多模态只对更短的清单做过认证 模型族状态。发布包覆盖 macOS 以及 Linux、Windows 的 CPU、CUDA、ROCm、Vulkan 版本，Metal 仅限 macOS 安装矩阵。从源码构建需要 just、cmake、Rust、sccache、平台快速链接器，以及 Node.js 24 与 npm。按 v0.76.0-rc8 的说明，Windows 原生路径仍有三个分发问题：稳定版 Windows 包无法通过安装脚本校验、runtime install cuda 在发布清单里找不到 Windows 运行时、运行时 DLL 需要手动加入 PATH Windows 指南。已打包可执行文件内嵌的证明只用于来源与准入加固，并非运行时完整性证明，默认启动仍允许打包后被修改的二进制。

HotRepo 点评

在 2026-10-29 单日榜单记录中，仓库为 3,619 星、当日增加 50 星 仓库。仅一个采样点不足以判断涨势或持续性。若你在多 GPU 家庭或实验室环境里评估本地推理，值得进一步查看；生产使用应走网格推理端口，而不是 --local-model-only。