magnitudedev/magnitude

Magnitude 是一个开源的本地推理引擎，面向开放权重模型。它不提供一套通用的 kernel，而是在下载模型的机器上针对该模型调优底层计算，目标是让搭配编程 Agent 使用开放模型的人获得更快的本地推理服务。

实际会改变什么

下载模型时，Magnitude 会在真实硬件上花最多约一分钟尝试不同的数学切分方式——多少 GPU 线程协作、每块多大、预取多远——并保留不改变模型输出且最快的那组配置。这个调优按模型进行，换机器或换模型都会重新触发。引擎还会为目录中的每个模型指定一个投机解码 drafter，并把 KV cache 量化为 8-bit key 和 4-bit value，作者称这能降低每个 Agent 的内存占用，并在 Agent 停止后释放 README。多个会话共享前缀缓存，避免并发的 Agent 会话互相拖慢。

使用入口是桌面应用加 CLI；一键可以连接 Pi、OpenCode、Hermes、Codex、Claude Code、Cline 等受支持的 Agent，其他工具可以通过 OpenAI 兼容 API 接入 README。在 Linux 和 macOS 上，magnitude server setup 会把它安装为开机启动的服务，注销后继续运行、自行更新，并向网络上的浏览器和其他 Agent 提供服务——这是远程或共享使用相关的路径，在远程服务器文档中单独说明 远程服务器文档。

性能声明及其依据

"比 Ollama 快 2 倍"是作者自报的、在 Mac 和 NVIDIA 上对 11 个热门本地模型的平均值：prefill 约快 1.32–1.34 倍，decode 约快 2.17–2.19 倍，对比对象是 Ollama 基准测试。这些是作者基准环境下的引擎级吞吐数字，不是端到端 Agent 任务耗时，也不是独立测量。在发布讨论中，有评论者指出本地已有多个经过优化的引擎，且短上下文下的基准未必反映长上下文表现；一位维护者回复称，投机解码、KV cache 内存等正是项目专门处理的方向 HN 讨论。

要求与限制

支持 macOS、Linux 和 Windows。硬件可以是 Apple Silicon、NVIDIA、AMD、Intel GPU，或仅用 CPU；没有固定最低配置，但小机器只能跑小模型，内存越多能跑的模型越大 README。模型覆盖并非全部：优化 kernel 只针对热门的开放权重模型系列，完整列表见模型页面 模型列表。隐私上默认本地运行——提示词、文件和模型都留在本机，模型下载完成后无需联网 README——但服务器路径会有意把它开放给其他电脑，这个边界由用户自行选择。项目采用 Apache-2.0 许可证 仓库。