JakeATX/llamAmpere

项目介绍

llamAmpere 是 llama.cpp 的一个分支，专门针对 NVIDIA RTX 30 系（Ampere）显卡调优，重点是 RTX 3090 和 3090 Ti 上运行 Qwen3.8 系列模型。它提供自己的量化与权重格式、基于 MTP 草稿头的投机解码、在 GPU 与系统内存之间分配 Flash-Next 专家的能力，以及量化 KV cache。目标用户是已经在使用 llama.cpp 类服务、希望在 Ampere 硬件上获得更高吞吐或更长上下文的人，也包括想用系统内存换取 200K+ token 上下文的小显存配置。

仓库使用 MIT 许可证，并沿用上游 llama.cpp 的第三方库。服务通过 llama-server 提供 OpenAI 兼容 API，现有客户端无需自定义协议即可接入。

主要能力

• Flash-Next 支持：专家权重可分布在显卡和内存之间，--kv-gpu-tokens N 可只把部分上下文放在显卡上。
• AI+ 模型文件：面向 Ampere 及更新显卡的自有权重格式；v0.6 之后旧 AI+ 文件不再加载 v0.6 发布说明。
• 投机解码：使用 MTP 草稿头，200K 上下文示例中启用了自适应草稿模式。
• KV cache 量化等显存控制选项 KV cache 文档。
• Windows 改进：原生 MSVC + CUDA 构建的 Flash-Next 可用显卡侧专家表，贡献者在 RTX 3090 + 64 GB 内存上做过测量 v0.6.3.9 发布说明。

快速使用

README 给出一条 Linux 完整流程：以 CUDA arch 86 构建 llama-server 并运行 Flash-Next 模型。需要 CUDA 12 或更新版本的 nvcc、CMake、git、C++ 编译器，以及来自 huggingface_hub 的 hf 命令行工具；模型和草稿文件共约 81.63 GB，另需构建、prompt 临时文件和缓存空间 快速开始。README 说明该流程在限制为 12 GB 的 3090 加约 90 GiB 系统内存上测试过，原生 12/16 GB 显卡尚未测量。

下面这段命令会检出 v0.6.3.9 标签、只构建 llama-server、从 Hugging Face 下载模型与草稿文件，并通过项目的 Flash-Next 启动脚本启动服务：

if [ -d llamAmpere ]; then
  git -C llamAmpere fetch --tags --force && git -C llamAmpere checkout v0.6.3.9
else
  git clone -b v0.6.3.9 https://github.com/JakeATX/llamAmpere.git
fi && cd llamAmpere && \
cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON && \
cmake --build build-sm86 -j8 --target llama-server && \
hf download jakeatx/qwen3.8-flash-next-Swift1.5-ATX-AI3 --include '*.gguf' --local-dir models/flash-next && \
hf download jakeatx/Swift-1.5-Qwen3.8-Flash-Next-MTP-Drafter-GGUF mtp-Swift-Qwen3.8-Flash-Next-GSQ-RCO-Q2S-B.gguf --local-dir models/flash-next && \
LLAMA_SERVER_BIN=build-sm86/bin/llama-server \
FLASH_NEXT_DRAFTER=models/flash-next/mtp-Swift-Qwen3.8-Flash-Next-GSQ-RCO-Q2S-B.gguf \
scripts/flash-next-server.sh -m models/flash-next/qwen3.8-flash-next-Swift1.5-ATX-AI3-00001-of-00002.gguf

构建完成后服务监听 http://127.0.0.1:8080，提供 OpenAI 兼容 API。以后重启时，在 llamAmpere 目录下重新执行最后三行即可。

第二条文档路径在单张 24 GB RTX 30 系显卡上以 2.3 bpw 运行 Swift 1.5 27B、200K 上下文，首次启动会下载约 9.1 GB 模型数据。README 还指向 12 GB 和 10 GB 显卡的命令，但注明尚未在该模型上运行过 v0.6.2 发布说明。

使用约束

• 主要测试目标是 Linux 上的单张 RTX 30 系显卡；Windows 支持在改进，但部分速度数字来自贡献者，维护者说明自己没有 Windows 机器，只在 MinGW/Wine 下构建过纯 CPU 版本，无法编译 CUDA 和 MSVC 部分 v0.6.3.9 发布说明。
• 小显存配置依赖系统内存和显式内存设置；README 并未保证 64 GB 系统内存适用于所有模型与上下文组合。
• AI+ 权重文件与本引擎版本绑定，v0.6 之后旧 AI+ 文件不再加载。
• README 中的性能数字来自特定显卡、prompt 和随机种子，部分并非同引擎对比。
• 项目 fork 自上游 llama.cpp，构建参数和服务行为沿用该代码库，但 Ampere 专用内核与格式不同。

HotRepo 点评

在 2026-11-09 的全语言 GitHub 日榜记录中，项目为 301 star、37 fork，当日新增 6 star，并在 C++ 榜上取得最高第 6 名。这说明关注主要来自 C++/CUDA 用户，而不是广泛出圈。项目的价值比较具体：在 3090 级显卡上做长上下文 Qwen 推理，发布说明中有内存行为和实测 token 速率可供参考。没有 Ampere 显卡、或不需要 200K+ 上下文的读者用标准 llama.cpp 更简单；而在 RTX 30 系硬件上追求吞吐的人，有一个有文档记录的起点。