wici-ai/inferssd

InferSSD 是一个面向大型混合专家（MoE）语言模型的推理引擎，它把专家权重从 SSD 流式读取。项目基于 llama.cpp 和 ggml，目标是让内存装不下整个模型的人，在单机上用标准 GGUF 文件运行超大 MoE 模型，而不是依赖专有格式。它提供终端对话和本地浏览器界面，并暴露 OpenAI 兼容接口。

实际变化

InferSSD 不像常规方式那样把全部参数装进统一内存或显存，而是按需从磁盘读取专家。结果是大到远超可用内存的模型也能回答，但速度在一定程度上取决于 SSD 和内存预算。README 把它定位为用容量换装载，而不是立刻获得性能。

支持的模型与使用方式

目前文档中测试过的 GGUF 检查点有两个：DeepSeek-V4.1-Flash-1017（总参数 763B，激活 8–16B）和 Muse-Spark-Open（总参数 816B，激活 42B）。DeepSeek 的 Q8_0 转换保留官方位宽：路由专家保持原生 4-bit MXFP4，FP8 张量转为 8-bit Q8_0；格式细节见基准文档。其他模型被描述为即将支持，所以它目前还不是通用的 GGUF 运行器。

安装后，inferssd cli 提供终端对话，inferssd serve 启动网页界面和 OpenAI 兼容 API（本地地址的 /v1），现有 OpenAI 兼容客户端可以直接接入。首次运行会下载约 470 GiB 模型文件，除非用 --model-dir 指定 SSD，或用 -m 提供已有分片文件。没有内存大小设置，引擎会使用可用内存。

运行要求

安装目标是 Apple Silicon macOS 和带 NVIDIA GPU 的 Linux；Windows 标注为开发中。一键安装器从源码构建，因为尚无预编译包，耗时约 2 到 12 分钟，视机器而定。安装过程在私有环境中进行，不使用 sudo，需要 Git、Python 3.9+、C/C++ 编译器；macOS 还需要 Xcode Command Line Tools。Linux 额外需要 CUDA toolkit、liburing 头文件，以及带 cgroup v2 的 systemd。升级和卸载步骤保留在快速开始文档中。

性能范围

公布的基准覆盖 4K 提示词和 256 个输出 token，解码指标在 token 129–256 之间测量，运行于四台指定机器。它们是每秒 token 数，与 llama.cpp 对比；在 MacBook Pro 上还对比了 Colibri。这些是固定条件下的引擎级测量，不是任意硬件上的端到端应用吞吐。README 给出了大幅加速，但评测范围限于两个具名模型和那四种配置。

许可

InferSSD 采用 Apache-2.0；捆绑的 llama.cpp/ggml 及其他第三方组件保留各自许可证和声明。模型权重仍受发布方许可证约束，再分发或商业使用前应查看 Hugging Face 模型页面。

项目源码与说明