ashhart/TensorFold

项目介绍

TensorFold 用 Zig 实现 LLM 推理：读取 checkpoint、对请求分词，并直接在 Metal 或 CUDA 上运行 kernel，对外提供 OpenAI 兼容的 HTTP 接口。它面向希望在自己的 Apple Silicon Mac 或 NVIDIA GPU 上运行量化开源模型、又不想安装 Python 或 MLX 的用户。除 Metal/CUDA 外，还有一个 AMD HIP 的 OCR 模型路径；仓库还包含 macOS 桌面工作区，以及实验性的权重内学习功能 Living Weights。

快速使用

README 推荐的起步模型是 Qwen3.5-2B 的 MLX 4-bit 版本，已在 Metal 和 GB10 上验证。Apple Silicon 上用 Homebrew 安装，拉取固定 revision 后启动服务：

brew install ashhart/tensorfold/tensorfold
tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

Linux + NVIDIA GPU 的流程是下载对应 linux-aarch64 或 linux-x86_64 的发布压缩包、校验 sha256、解压，并在 PATH 中定义包装 tensorfold-native 的 tensorfold shell 函数，然后执行相同的 pull 和 serve 命令（快速开始）。该发布包要求 glibc 2.28 及以上、NVIDIA 驱动 R580 及以上（CUDA 13.0），启动时会拒绝旧驱动。Windows + NVIDIA GPU 按单独的原生构建指南操作。

保持服务运行，在另一个终端发送请求：

curl -fsS http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"local-model","messages":[{"role":"user","content":"Say hello in one sentence."}],"max_tokens":128,"temperature":0}'

同一接口还提供 completions、Responses 和 Anthropic Messages；/v1/models 可列出服务名。tensorfold web 会打开一个本地网页应用，用于选择、运行模型并对话（README 快速开始）。

模型与硬件支持

模型表列出各模型的原生服务路径、下载命令、已验证机器和限制，覆盖 Qwen3.5/3.6/3.8、Nemotron 3.5 Lightning 与 Super VL、GLM-5.3-Flash 系列、LFM2.5，以及一个 HIP OCR 路径。部分条目明确标注未验证或实验性：DeepSeek checkpoint 尚无发布版可服务，GLM-5.3-Flash 单 Mac 原生服务也未获认证。多个大型 MoE 模型需要两台以上机器（例如两台 M5 Ultra 或两到三台 GB10），下载前可用 tensorfold info REPO 查看 checkpoint 的内存下限（模型表）。

使用约束

服务需要遵守模型权重自身的许可证（与代码的 Apache-2.0 不同），并准备足够的内存容纳 checkpoint、上下文、缓存和并行流，以及上面对应的平台工具链。量化方式和后端会影响输出，因此精确解码的保证只在固定 checkpoint、后端、设置和运行时下成立。上下文压缩、Cortheon 联网研究、Living Weights 和语音功能都是需要显式开启的参数，各有边界；Living Weights 可用 tensorfold slide rollback 回滚。从源码构建需要 Zig 0.17.0，.metal kernel 需要 Xcode 的 Metal Toolchain（构建说明）。

HotRepo 点评

在 2026-11-12 的全部语言日榜上，TensorFold 记录到的最好名次是第 7，当日新增 58 星，总星数 1,811、fork 385。单次快照说明它当天在 GitHub 全站处于靠前位置，而仓库本身用相当细的工程材料支撑了这份关注：固定 checkpoint revision、基准测试回执（receipt）、资格说明，以及哪些硬件与模型组合真正验证过的明确表述。对想运行它的人来说，这些写明的资格边界比排名更有参考价值。