microsoft/BitNet

解决什么问题

本地跑大模型，要么买大显存 GPU，要么忍受 CPU 上慢得离谱的推理速度。常规模型权重用 16 bit 存储，一个 2B 参数的模型就要占好几 GB 内存，token 生成速度还远低于人的阅读速度。BitNet 从模型侧下手：三进制权重（1.58 bit，权重取值只有 -1、0、+1）把内存占用大幅压低，而 bitnet.cpp 就是让这类模型在普通 CPU 上真正跑起来的推理引擎。

有什么不同

常见的低成本本地推理路线是用 llama.cpp 之类运行时对 FP16 模型做训练后量化，本质是先有模型再压缩。BitNet 更窄也更激进：它要求模型本身就用三进制训练，并配套手写优化 kernel（I2_S、TL1、TL2），覆盖 x86 与 ARM，之后才补上 GPU kernel。README 声称 x86 上有 2.37x 到 6.17x 加速，单个 CPU 能跑 100B 的三进制模型且达到人类阅读速度。代价是模型绑定：它跑不了任意 Hugging Face 权重，只认 BitNet 原生模型。

适合谁

适合做端侧和边缘部署的工程师、需要在 ARM 板子或廉价 x86 机器上服务模型的人，以及研究超低比特架构的研究者。只想跑现成 Llama、Qwen 模型的团队应该绕开，llama.cpp 加 GGUF 量化才是成熟且与模型无关的答案。指望它无缝替换现有推理栈的人也会失望。

上手成本

需要在 Linux 上从源码编译 C++，README 只给了 build-from-source 入口，没有现成包安装。硬件覆盖不均：官方 2B 模型在 x86 上有 I2_S 和 TL2，在 ARM 上只有 I2_S 和 TL1；embedding 模型的 I2_S 仅支持 x86。GPU 支持存在但较新，NPU 还写着即将推出。生态薄弱，除微软自家模型和少量社区 checkpoint 外可选模型不多。许可证是宽松的 MIT，真正的约束是模型可得性而非法律条款。

点评

这是一个在细分领域已经站稳的项目，不是短期冲榜：已存在 810 天，41k+ star，2026 年年中仍在持续迭代（embedding 模型、VibeASR.cpp、kernel 优化）。关注度真实但偏专业，体现在 cpp 月榜第 10（+993）和一条 370 分的 Hacker News 讨论。如果你明确要押注 1.58-bit 模型或把 LLM 塞进受限硬件，值得投入；否则模型绑定加编译成本意味着成熟的量化运行时是更稳妥的默认选择。