nace-ai/kapitsa

如果你想让编程模型在本机 Mac 上作答，并且在意作者测出的解码速度，Kapitsa 值得一看。它不是通用框架：模型清单和硬件目标都很窄，而这正是它的定位。

解决什么问题

开发者用 opencode、Claude Code、Codex 或 pi 这类编程 Agent 时，通常要么按量付费走云端，要么用通用引擎把模型加载到本地——后者把 Mac 当成众多目标平台之一。中间的麻烦在于：挑权重、下载到机器、再让 Agent 连上一个说对 API 的服务。Kapitsa 把这条链路压成“在本地模型上启动 Agent”：拉取清单里的模型，在本机地址提供 OpenAI 与 Anthropic 兼容接口，然后直接启动 Agent。最终得到的是一次 token 在笔记本上生成、而不是在远端 GPU 上生成的 Agent 会话。

有什么不同

技术核心是 KFlash，一种投机解码变体。常见做法是草稿模型给出一条线性候选链，大模型逐 token 校验到第一个不一致处为止；KFlash 则让大模型在一次前向中检查草稿模型 Top 候选组成的最佳优先树，保留它认可的最长分支。作者的示意图声称输出与普通解码一致，在短提示上每次通过多接受 8-17% 的 token，树的规模按每台 Mac 调过。

引擎是手写 Metal 代码，部分模型在读长提示时借助 Neural Engine，并常驻最多四段对话。在 16-24 GB 机器上跑 Flint 时的特殊做法是：路由专家保持存储时的 2-bit 精度，其余部分重新量化到 3-6 bit，README 称在 M1 Pro 上以 11.6 GB 显存达到 61 tok/s 解码。这些数字来自作者自己设计、自己执行的基准，应把 README 引用的基准表当作待验证的假设，用 kapitsa bench compare 自己复现，而不是独立证据。

代价是覆盖面窄。Qwen、Nemotron 加 Flint 的清单远小于 llama.cpp 或 Ollama 能跑的模型范围，而这些优化绑定特定权重格式和 Apple GPU。

谁值得试

适合：主要在 Mac 上使用上述编程 Agent 之一、能用与内存匹配的模型（README 建议 16-24 GB 机器用 9b 或 4b）、并且不想手工配置推理服务的开发者。kapitsa doctor 会报告本机 GPU、内存和适配的模型，是这类用户合理的第一步。不适合：需要任意 GGUF 或 Qwen/Nemotron 之外模型的人，以及在 Linux、Windows 或 NVIDIA 硬件上运行的人——整套设计只针对 Apple Silicon，模型清单也是精选的。如果必须用清单外的模型家族，应先考虑覆盖面更广的引擎。

使用条件与边界

硬件没有商量余地：M1 及更新、macOS 14 Sonoma 或以上的 Mac，通过 Homebrew 或安装脚本安装。内存决定模型：16-24 GB 机器被引导到 9b 或 4b，而 Flint 的数据也依赖 16-24 GB。模型选择基本是白名单，团队若已标准化在其他权重上，不能直接把 Kapitsa 指过去。引擎很新且高度优化，保持更新比成熟通用运行器更重要；模型清单和每台 Mac 的树规模可能随版本变化，GitHub 的 release 通知是追踪这种维护的实用方式。

HotRepo 点评

HotRepo 在 2026-10-25 的新项目榜（cpp）记录到 Kapitsa 第 12 名、总星 427，样本只有 2026-10-24 起的两天。这只是一个 9 天新仓库的快照，不是增长曲线，无法据此判断热度能否持续。采用前请先确认你的 Mac 型号和内存档位出现在分模型基准表中，并且你要的权重在清单内。