[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$f38w68bs15minn":3},{"code":4,"message":5,"data":6,"timestamp":63},10000,"success",{"full_name":7,"position":8,"description":9,"language":10,"stars":11,"forks":12,"stars_gained":13,"age_days":14,"hn_threads":15,"one_liner":46,"summary_md":47,"topic":48,"github_topics":51,"license":53,"homepage":54,"updated_at":55,"history":56},"ggml-org\u002Fllama.cpp",2,"LLM inference in C\u002FC++","C++",132260,24778,111,1324,[16,22,28,34,40],{"id":17,"title":18,"points":19,"comments":20,"posted_at":21},47088037,"Ggml.ai joins Hugging Face to ensure the long-term progress of Local AI",839,223,"2026-02-20",{"id":23,"title":24,"points":25,"comments":26,"posted_at":27},43943047,"Vision Now Available in Llama.cpp",550,104,"2025-05-10",{"id":29,"title":30,"points":31,"comments":32,"posted_at":33},44862583,"Mistral Integration Improved in Llama.cpp",95,15,"2025-08-11",{"id":35,"title":36,"points":37,"comments":38,"posted_at":39},44799218,"Llama.cpp: Add GPT-OSS",35,0,"2025-08-05",{"id":41,"title":42,"points":43,"comments":44,"posted_at":45},48844268,"LLama.cpp Got Screwd",11,5,"2026-07-09","在没有 Python 依赖的情况下，让 LLM 和 VLM 在本机 CPU、GPU、手机上跑推理。","## 解决什么问题\n\n想在自己的硬件上跑大模型，常规做法是装一套 Python 环境、一个大框架、一套 CUDA 工具链，再加上只被单一技术栈认识的模型格式。这套东西在一台配置齐全的 Linux 机器上能用，换到旧笔记本、Mac、手机、带消费级显卡的 Windows 机器，或者只有半张卡的云主机上就散了。llama.cpp 要解决的就是把推理变成一个真正能跑起来的小体积可移植程序。\n\n## 有什么不同\n\n它是基于 ggml 的 C\u002FC++ 推理实现，各后端是手写 kernel，而不是通用张量运行时外面套一层兼容层。真正拉开差距的有三点。第一，量化到很低位宽（README 写明支持 1.5 到 8 bit 的整数格式）是设计目标本身，不是补丁，这是大模型能塞进小显存的原因。第二，单一代码库覆盖的后端异常地广：CUDA、HIP、Metal、Vulkan、SYCL、WebGPU，还有若干 NPU 目标，并且支持 CPU+GPU 混合推理来跑超出显存的模型。第三，自带 CLI 和 OpenAI 兼容的 server，现有客户端改个地址就能用。\n\n和 vLLM 比，取舍很清楚：vLLM 面向服务器 GPU 上的吞吐，对笔记本和骁龙手机兴趣不大。和 Python 的 transformers 加 bitsandbytes 比，llama.cpp 牺牲了灵活性和试新模型的便利，换来速度和可移植性。和直接调托管 API 比，你放弃模型质量和零运维，换回隐私、没有按 token 计费、不依赖网络。\n\n## 适合谁\n\n适合那些必须让推理跑在自己已有或能低价租到的硬件上的人：在桌面或移动应用里嵌入本地模型的开发者、数据不能外发的团队、边缘和嵌入式部署，以及用 Mac 做原型的人。小型自托管服务器、只有几个并发用户，也是合理选择。\n\n如果你要做高吞吐的多租户服务、需要大规模连续批处理，或者需要长期稳定的 ABI，就别用。README 自己链了一个关于 `lib llama` API 的 open issue，说明库接口还在变。如果你的模型是上周刚发布的小众架构，也要等移植。\n\n## 上手成本\n\nMIT 协议，法律层面基本没障碍。安装确实轻：README 给了 curl 脚本（`curl -LsSf https:\u002F\u002Fllama.app\u002Finstall.sh | sh`）、PowerShell 一行命令、Docker、预编译 release 包和从源码构建几种方式。真正的成本在运维：GGUF 模型文件要自己挑、自己管，量化等级要自己选，GPU offload 层数要手动调到刚好塞进显存。带 GPU 后端的构建需要对应的厂商工具链，而且后端表里还有几个目标标着进行中。项目迭代快，有 nightly 也有正式 tag，建议锁版本而不是跟 master。\n\n## 点评\n\n这不是一个靠热度冲起来的新项目：2023 年 3 月创建，至今 1,300 多天积累到 132k stars、约 24.7k forks，最近上榜期间每天只涨 106 到 111 颗星，属于成熟项目正常的维护期关注度，而不是炒作。更有分量的信号是 ggml.ai 加入 Hugging Face 的公告（HN 839 分）——对一个最大的风险始终是维护者倦怠的项目来说，这是机构层面的背书。做本地推理，它基本是默认选项；不用它的主要理由只有一个：你要的是数据中心级服务吞吐，而不是可移植性。",{"slug":49,"name":50},"machine-learning","机器学习",[52],"ggml","MIT","https:\u002F\u002Fllama.app","2026-10-25T00:07:05Z",[57,61],{"date":58,"stars":59,"stars_gained":60},"2026-10-24",132254,106,{"date":62,"stars":11,"stars_gained":13},"2026-10-25",1792901786]