FlashML-org/FreeToken

项目用途

FreeToken 是一个面向边缘设备的 MoE 推理服务引擎。它把一台个人电脑上的 GPU、CPU、主机内存和互联总线当成统一的弹性推理平台，因此参数量达到数百亿的开源权重模型也能在游戏台式机或笔记本上运行起来。

引擎采用带宽自适应的 CPU–GPU 协同执行、全层双缓冲 prefill 流式加载、全局 LRU 专家缓存，以及自定义的 FTW 权重格式。它还会为循环状态和 KV cache 保存语义锚点检查点，让工具调用、thinking block 这类 agent 场景下的上下文修改不必整段重算。运行期间可以在专家缓存和 KV 内存之间重新分配显存，无需重启引擎或重载权重。

目标用户是希望在本地跑大型开源 MoE 模型、并把它接入编码或工具调用 agent 的人。README 列出的支持模型包括 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2，量化格式覆盖 MXFP4、NVFP4、FP8 和 BF16，服务端提供 Anthropic/OpenAI 兼容 API。设计参考了 SGLang、vLLM、FlashInfer、llama.cpp 等项目的实现，具体方法见 FreeToken 论文。

安装与运行

有两种入口。桌面应用面向 Windows 和 Linux，从 flashml.ai 下载，会自动完成引擎配置，并提供运行模型、对话和调参的图形界面。命令行方式则通过 uv（推荐）或 pip 安装：

uv pip install "freetoken[accel]"

从源码构建：

git clone https://github.com/FlashML-org/FreeToken.git && cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"

安装完成后按快速开始启动模型，命令参数查 CLI 参考；README 没有直接给出启动服务的命令，需从这两份文档入手。模型选择和下载说明见支持的模型列表，平台相关的前置条件见安装文档。

使用条件

• 运行时面向消费级硬件：笔记本、游戏台式机和工作站 GPU，原生支持 NVIDIA RTX 30、40、50 系列。未列出其他 GPU 厂商的支持。
• 桌面应用只提到 Windows 和 Linux，未提及 macOS。
• 大型模型仍需要足够的显存、系统内存和磁盘余量来容纳权重与缓存；引擎做的是资源池化，并不能消除容量需求。
• 加载失败和旧版 FTW 检查点有专门文档：检查点诊断和 FTW 修复。
• 项目采用 Apache-2.0 许可证。

HotRepo 点评

FreeToken 于 2026-11-01 进入 GitHub 全部语言日榜，最好名次 16，当天新增 232 Star，目前仓库约有 1.5 万 Star 和 1500 余 Fork。2026-08-21 的 Hacker News 讨论帖「Run 290B+ frontier MoE models locally on your gaming PC」获得 41 分、3 条评论；有评论者表示看完仓库和网站仍不清楚项目具体做什么（guax），也有人认为论文比 README 更值得读，并指出 GitHub 页面没有讲清楚针对哪些优化（gravypod）。这和 README 的结构相符：技术细节主要在论文和文档里，仓库首页侧重宣传能力。评估这个项目时，应直接看论文和快速开始，而不是一句标题。