[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$f2ahpovmwxz4ye":3},{"code":4,"message":5,"data":6,"timestamp":32},10000,"success",{"full_name":7,"position":8,"description":9,"language":10,"stars":11,"forks":12,"stars_gained":13,"age_days":14,"hn_threads":15,"one_liner":22,"summary_md":23,"topic":24,"github_topics":27,"license":28,"homepage":29,"updated_at":30,"history":31},"nace-ai\u002Fkapitsa",12,"Blazing fast Apple Silicon optimized inference engine built for Qwen & Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai","C++",439,63,47,9,[16],{"id":17,"title":18,"points":19,"comments":20,"posted_at":21},50218893,"Apple Silicon Inference Engine: Kapitsa",1,0,"2026-10-24","面向 Apple Silicon Mac 的本地推理引擎，专为 Qwen、Nemotron 和 Flint 模型优化，目标是让编程 Agent 跑在本地。","如果你想让编程模型在本机 Mac 上作答，并且在意作者测出的解码速度，Kapitsa 值得一看。它不是通用框架：模型清单和硬件目标都很窄，而这正是它的定位。\n\n## 解决什么问题\n\n开发者用 opencode、Claude Code、Codex 或 pi 这类编程 Agent 时，通常要么按量付费走云端，要么用通用引擎把模型加载到本地——后者把 Mac 当成众多目标平台之一。中间的麻烦在于：挑权重、下载到机器、再让 Agent 连上一个说对 API 的服务。Kapitsa 把这条链路压成“在本地模型上启动 Agent”：拉取清单里的模型，在本机地址提供 OpenAI 与 Anthropic 兼容接口，然后直接启动 Agent。最终得到的是一次 token 在笔记本上生成、而不是在远端 GPU 上生成的 Agent 会话。\n\n## 有什么不同\n\n技术核心是 [KFlash](https:\u002F\u002Fgithub.com\u002Fnace-ai\u002Fkapitsa\u002Fblob\u002Fmain\u002Fdocs\u002Fkflash.md)，一种投机解码变体。常见做法是草稿模型给出一条线性候选链，大模型逐 token 校验到第一个不一致处为止；KFlash 则让大模型在一次前向中检查草稿模型 Top 候选组成的最佳优先树，保留它认可的最长分支。作者的示意图声称输出与普通解码一致，在短提示上每次通过多接受 8-17% 的 token，树的规模按每台 Mac 调过。\n\n引擎是手写 Metal 代码，部分模型在读长提示时借助 Neural Engine，并常驻最多四段对话。在 16-24 GB 机器上跑 Flint 时的特殊做法是：路由专家保持存储时的 2-bit 精度，其余部分重新量化到 3-6 bit，README 称在 M1 Pro 上以 11.6 GB 显存达到 61 tok\u002Fs 解码。这些数字来自作者自己设计、自己执行的基准，应把 README 引用的基准表当作待验证的假设，用 `kapitsa bench compare` 自己复现，而不是独立证据。\n\n代价是覆盖面窄。Qwen、Nemotron 加 Flint 的清单远小于 llama.cpp 或 Ollama 能跑的模型范围，而这些优化绑定特定权重格式和 Apple GPU。\n\n## 谁值得试\n\n适合：主要在 Mac 上使用上述编程 Agent 之一、能用与内存匹配的模型（README 建议 16-24 GB 机器用 9b 或 4b）、并且不想手工配置推理服务的开发者。`kapitsa doctor` 会报告本机 GPU、内存和适配的模型，是这类用户合理的第一步。不适合：需要任意 GGUF 或 Qwen\u002FNemotron 之外模型的人，以及在 Linux、Windows 或 NVIDIA 硬件上运行的人——整套设计只针对 Apple Silicon，模型清单也是精选的。如果必须用清单外的模型家族，应先考虑覆盖面更广的引擎。\n\n## 使用条件与边界\n\n硬件没有商量余地：M1 及更新、macOS 14 Sonoma 或以上的 Mac，通过 Homebrew 或安装脚本安装。内存决定模型：16-24 GB 机器被引导到 9b 或 4b，而 Flint 的数据也依赖 16-24 GB。模型选择基本是白名单，团队若已标准化在其他权重上，不能直接把 Kapitsa 指过去。引擎很新且高度优化，保持更新比成熟通用运行器更重要；模型清单和每台 Mac 的树规模可能随版本变化，GitHub 的 release 通知是追踪这种维护的实用方式。\n\n## HotRepo 点评\n\nHotRepo 在 2026-10-25 的新项目榜（cpp）记录到 Kapitsa 第 12 名、总星 427，样本只有 2026-10-24 起的两天。这只是一个 9 天新仓库的快照，不是增长曲线，无法据此判断热度能否持续。采用前请先确认你的 Mac 型号和内存档位出现在分模型基准表中，并且你要的权重在清单内。",{"slug":25,"name":26},"machine-learning","机器学习",[],"Apache-2.0","https:\u002F\u002Fx.com\u002Fkapitsaserve","2026-10-25T02:59:58Z",[],1792922380]