AlexsJones/llmfit

项目介绍

llmfit 解决的是下载之前的那个问题：这台机器到底能跑哪些开源权重模型。它会探测 CPU 核心数、系统内存、可用 GPU 与显存，以及加速后端（NVIDIA CUDA、Apple Silicon 统一内存、AMD ROCm、Intel OneAPI），再对目录中的每个模型按显存占用、预估速度、质量和上下文长度打分排序 README。

工具提供两种界面：不带参数运行 llmfit 进入交互式 TUI，以及供脚本调用的经典 CLI。另有 headless Web 面板和 REST API（/api/v1/system、/api/v1/models），可以把推荐结果接进部署流水线。

速度估算来自内存带宽模型，并用运行时采样和社区实测数据校准。llmfit info "<model>" 会打印估算所依赖的输入，便于核对假设而不是直接相信数字 工作原理。

快速使用

各主流平台都有预编译包。macOS / Linux：

brew install AlexsJones/llmfit/llmfit

Windows 可用 winget install --exact --id AlexsJones.llmfit 或 scoop install llmfit。此外还有 Python 包（uv tool install -U llmfit）、Docker 镜像 ghcr.io/alexsjones/llmfit 以及 Release 二进制 安装说明。一键脚本 curl -fsSL https://llmfit.axjns.dev/install.sh | sh 会把远程脚本直接交给 shell 执行，更稳妥的做法是先读脚本或改用包管理器。

启动 TUI：

llmfit

顶部显示检测到的硬件，下方是排序后的模型列表。/ 按名称、系列或量化格式过滤，b 查看社区基准数据。需要脚本化输出时用非交互命令：

llmfit recommend --json   # 以 JSON 输出推荐
llmfit fit                # 输出完整排序表
llmfit doctor             # 硬件检测报告

从源码构建的方式是 git clone 后进入目录执行 cargo build --release，产物在 target/release/llmfit。

使用约束

推荐质量取决于硬件探测的准确度和内置目录的新旧。Hacker News 上有读者用 128 GB 内存的 M4 MacBook Pro 测试，发现工具把 Qwen 2.5 和 StarCoder 2 列为最匹配项，说明新模型能否及时进入目录会直接影响结果 HN 评论。速度是内存带宽近似值而非实测值，真实吞吐还受上下文长度、KV cache 和后端影响，用 llmfit bench 对正在运行的后端做实测，才能把估算换成真实数字。

集群模式（Ray / 多节点）明确标注为预览功能，撰写时只在模拟的 Ray Dashboard 上验证过 集群指南。工具会读取配置和硬件状态，只在你主动使用相应功能（模型下载、provider 查询或社区榜单）时才访问外部服务。许可证为 MIT。

HotRepo 点评

在全部语言日榜记录中，项目从 2026 年 7 月下旬约 3 万 Star 增长到 11 月 10 日的 38,870，各快照的日增在 60 到 260 之间，并在 11 月 10 日进入 Rust 日榜第 11 名。2026 年 3 月的 Hacker News 讨论获得 301 分、70 条评论，分歧挺有代表性：一位读者希望它是网站而不是可执行文件，回复指出硬件探测恰恰是它无法做成纯网页的原因 讨论原帖。另一条评论给出 tok_per_s = memory_bandwidth / llm_size 的算式，并提醒 MoE 的速度主要由激活参数而非总参数量决定——这正是估算模型背后的逻辑。项目的价值在于把这道算术自动套用到数百个模型和量化组合上，而让实测数据替换同硬件估算的基准共享机制，是设计里最有意思的一环。