incoai/splash
机器学习在 Apple 芯片 Mac 上本地运行大模型,并提供兼容 OpenAI 与 Anthropic 的接口供编程 Agent 调用。
项目介绍
Splash 是面向 Apple 芯片 Mac 的本地推理引擎,目标是在一台 Mac 上运行编程 Agent,以及使用 OpenAI 或 Anthropic 接口的应用。它把三样东西组合在一起:DFlash 2 投机解码、按模型定制的 Metal kernel,以及自动内存规划;再往上支持视觉输入、工具调用、前缀缓存复用和并发请求合并,并自带一个聊天页面。
支持的模型系列包括 Qwen3.8-27B、Qwen3.6-35B-A3B、Ornith-1.5-122B、Qwen3.8-Flash-Next 和 Flint,可用 Unsloth 的 1–8 bit GGUF 或 MLX 4-bit 包;Prism ML Ternary Bonsai 2 也在支持范围内。引擎会自动为目标模型配上对应的 draft 模型。整模型都是 BF16/F16 的目标会被拒绝加载。
快速使用
前提:Apple M3 或更新机型,系统为 macOS 26.4 或更高。可以下载桌面应用安装包,也可以用 Homebrew 安装命令行版:
brew install incoai/tap/splash
splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M
首次运行会下载目标模型和对应的 draft,后续启动直接复用,需要预留磁盘空间。终端打印 Ready 后,在浏览器打开 http://127.0.0.1:8000 使用聊天页,或在另一个终端运行已安装的编程 Agent:splash opencode、splash claude、splash codex、splash hermes 或 splash pi。如果启动时改了端口,Agent 命令要带同样的 --port。按 Ctrl+C 停止服务。
也可以直接调用兼容 OpenAI 的接口:
curl http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{
"model": "unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M",
"messages": [{"role": "user", "content": "Explain speculative decoding in one sentence."}]
}'
如果要服务本机已有文件,用 --model-dir 指向 GGUF 文件,用 --draft-model 指向兼容的 draft,此时 --model 只作为接口里显示的名称。
配置与约束
内存和上下文默认按模型原生窗口自动规划。可以用 --max-memory、--max-context、--idle-release、--kv-format、--max-cache-disk 等参数自行限制;27B 默认还会用神经引擎做 prefill,可用 --disable-ane 关闭。模型空闲 10 分钟后默认从内存释放。服务默认只监听 localhost 且不带认证,局域网访问、认证和跨源浏览器应用都需要额外配置。
项目采用 Apache-2.0 许可证;GGUF kernel 包含 llama.cpp 的 MIT 许可代码,模型权重遵循各自的许可。构建目标仅限 Apple 芯片,Intel Mac 和其他平台不在支持范围内。
HotRepo 点评
2026-11-18 的 C++ 日榜上,Splash 以新增 51 star 排在第 8 位;它没有出现在全部语言日榜的记录中。README 最有分量的部分是它与 llama.cpp 在 Metal 上的实测对比:在 40 核 GPU 的 M3 Max 上,27B 模型解码为 92 tok/s,而 llama.cpp 为 17 tok/s;35B-A3B 为 209 tok/s 对 66 tok/s;两者的下一 token 一致率分别为 99.30–99.45% 和 97.83–98.14%。这些数字有明确的硬件和设置范围(BF16 KV、关闭 ANE),且由项目方给出,因此说明的是项目自己的主张,不是独立复测结果。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- nace-ai/kapitsa面向 Apple Silicon Mac 的本地推理引擎,专为 Qwen、Nemotron 和 Flint 模型优化,目标是让编程 Agent 跑在本地。
- ashhart/TensorFold在 Apple Silicon 和 NVIDIA GPU 上原生运行量化 LLM,提供 OpenAI 兼容 API,无需 Python。
- trymirai/uzu在 Apple 芯片上本地跑 LLM 和 TTS 推理,给想要隐私和零推理成本的 App 开发者。
- sybil-solutions/inference-optimisation-skill一套用于系统化调优本地 LLM 服务速度的 Agent 技能,覆盖解码、投机解码、预填充、KV 缓存与启动耗时。
- magnitudedev/magnitude在本机硬件上运行开放模型,按模型自动调优 kernel,让本地推理更快地服务编程 Agent。