JustVugg/colibri

项目介绍

colibri 是一个面向大型混合专家（MoE）语言模型的推理引擎。它把模型中稠密的部分常驻内存，把路由专家留在磁盘上，等路由器选中时再读取。每层有一个缓存，并根据实际对话中学到的热点专家决定哪些专家留在内存或显存，这样权重放在哪里只影响速度，不改变路由器的判断和权重精度。引擎用纯 C 编写，每个模型族一个引擎文件，可在 CPU、Vulkan、CUDA 和 Metal 上运行。

支持的模型包括 GLM-5.2/5.3、GLM-5.3-Flash、Inkling、Kimi K3、DeepSeek V4 Flash 与 V4.1 Flash、MiMo-V2.6、Qwen3.6/Qwen3.8 及其同系列模型、OLMoE，另有 Qwen-Image-2.1 图像生成和三个决策模型。模型既可以来自项目提供的 int4 容器，也可以直接读取已有的 GGUF 文件。coli serve 提供兼容 OpenAI 和 Anthropic 的 HTTP 接口，本地编码命令行工具和 SDK 可以直接连接；仪表盘展示路由、速度和逐轮性能分析，/v1/systemone 接口则对限定选项返回概率，而不是生成文本。

它适合希望运行远超本机内存或显存容量的模型的人，也适合想要一个可测量、可修改的小型引擎的研究者。

快速使用

最低要求是 8 GB 内存、最小的模型需要 22 GB 可用磁盘空间，以及网络连接；显卡可选。Windows、Linux 和 macOS 都提供一键安装流程，详见快速入门指南。

Ubuntu 或 Debian 上：

sudo apt install git python3 build-essential
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh

macOS 上先安装 Xcode 命令行工具，用 Homebrew 安装 libomp、git 和 Python，然后运行同一个 ./start-here.sh。Windows 上下载仓库 ZIP、解压后运行 START-HERE.bat。安装脚本会检查内存、磁盘、CPU 和显卡，推荐一个放得下的模型，编译或下载引擎，支持断点续传地下载模型，然后启动服务并打印仪表盘和 API 地址：

Browser:             http://127.0.0.1:8000/
OpenAI base URL:     http://127.0.0.1:8000/v1
Anthropic base URL:  http://127.0.0.1:8000

不想回答问题可以加 --yes；用 --model ID 指定模型；用 --dir DIR 把模型放到其他磁盘；--list 列出所有模型在当前机器上的适配情况。手动安装时，从 Releases 下载对应平台的压缩包，或在 c/ 下用 ./setup.sh 从源码构建，取得模型后运行 ./coli chat --model PATH、./coli web --model PATH 或 ./coli serve --model PATH（手动安装）。

使用约束

模型体积是主要门槛：目录里最小的模型是 23 GB 下载，约需 10 GB 内存才能启动；大型流式模型从几十 GB 到数百 GB 不等，解码速度主要取决于 NVMe 磁盘性能。安装表格分别给出最低和舒适的内存数值，并优先推荐能完整放进内存的模型，再列出从磁盘流式读取的更大模型。

后端支持并不统一。Vulkan 需要支持 Vulkan 1.2 驱动的显卡；CUDA 在 Linux 上需要安装工具链，Windows 上则是单独的 DLL；Metal 在 macOS 发行版中提供，从源码构建需要 METAL=1，而一键安装默认按 CPU 构建。COLI_VULKAN=1、COLI_METAL=1 等环境变量控制是否启用 GPU，集成显卡只对实测更快的部分 Qwen 引擎默认开启加速。

工具调用和文档输入并非所有对话引擎都支持：Inkling 和 OLMoE 不支持工具调用，图像输入也仅限特定模型。coli serve --kv-slots 最多支持 16 个并发会话。

代码采用 Apache-2.0 许可证，各模型保留自己的许可证；Qwen-Image-2.1 的权重仅限非商业用途。在 WSL 中应把模型目录放在 Linux 磁盘而不是 /mnt/c，否则会明显变慢。

HotRepo 点评

对一个推理引擎来说，colibri 的站内记录相当突出：在全语言日榜上，它从 2026-09-10 的约 2.73 万 Star 起步，2026-11-02 取得第 10 名的最好名次，其中 2026-09-14 和 2026-09-15 单日分别上涨 2,233 和 2,035 Star，最新快照时已超过 4.6 万 Star。README 的基准数据写得具体，按硬件档位给出逐机速度，例如 GLM-5.2 在 25 GB 笔记本上为 0.05–0.1 tok/s，35B 模型在 RTX PRO 4000 上达到 104.8 tok/s，这些数字让项目的说法可以被核对，而不只是宣传。材料中能看到的主要限制在运行层面：磁盘流式推理对存储速度很敏感，最大的几个模型在消费级硬件上只能以较低速度运行。