搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

sybil-solutions/inference-optimisation-skill

机器学习

一套用于系统化调优本地 LLM 服务速度的 Agent 技能,覆盖解码、投机解码、预填充、KV 缓存与启动耗时。

1,039
90
Python
MIT
创建于 1 天前

项目介绍

这个仓库把「让本地 LLM 服务更快」整理成一套可执行的流程,关注单用户与并发解码、投机解码、预填充、KV 缓存容量、启动时间和首 token 延迟。它以 agent skill 的形式提供:Claude Code 或任何能加载 SKILL.md 式技能的 agent 可以照着执行;不依赖 agent 的模型也可以直接使用 PROMPT.md。

核心不是一份参数清单,而是一种方法:先算硬件理论天花板,再每次只改一项,用交错的对照运行比较候选配置,记录包括失败在内的每次结果,最后通过长上下文检索校验和并发全 KV 压力测试,才把某个配置认定为最佳。配套参考文档分别讲天花板计算、测量陷阱、各个杠杆、引擎坑点和发布流程(技能文件、SKILL.md)。

快速使用

在 Claude Code 中按用户级安装:

git clone https://github.com/sybil-solutions/inference-optimisation-skill
mkdir -p ~/.claude/skills
cp -r inference-optimisation-skill/skills/inference-optimisation ~/.claude/skills/

然后给出目标,例如「hill-climb decode and prefill for the model on :8000 under a 40 GiB cap」。

不用 agent 时,可以直接运行随附的 Python/bash 工具:用带宽/FLOPs JSON 计算天花板,复制示例服务配置并修改 base_url 和 model,跑一次基准,再排队执行交错的对照/候选运行:

S=skills/inference-optimisation
python3 $S/scripts/ceiling.py $S/examples/ceiling-ornith-b390.json
mkdir -p configs && cp $S/examples/config-existing-server.json configs/base.json
python3 $S/scripts/bench.py run configs/base.json --long 131072
bash $S/scripts/queue.sh base cand base
python3 $S/scripts/bench.py show

结果写入 ledger.jsonl,show 命令会以表格展示(scripts)。

使用约束

  • bench.py 面向任何 OpenAI 兼容服务端,token 数取自服务端 usage 统计,而不是流式分块。
  • 工具是标准库 Python 加 bash,不需要额外 Python 依赖,但需要本地已有可用的推理服务,并准备指向它的配置。
  • 流程围绕内存上限设计:bench.py 带容量看门狗,mem.sh 会报告容器真实占用,包括统一内存 GPU 上看不到的驱动驻留。
  • 有意义的比较依赖重复采样和交错对照;README 给出 ±5–10% 的测量噪声,因此单次运行的结果不可信。
  • README 中的提速数字与硬件、模型、量化和引擎强相关,它们是方法的佐证,不是可移植的预期。
  • 采用 MIT 许可证。

HotRepo 点评

仓库在 2026-11-17 出现在 HotRepo 新项目榜,约八小时窗口内新增 144 Star,没有记录到全部语言日榜名次。这只能说明首日关注度,不构成趋势。技术上值得注意的地方在于:它要求先算理论天花板,结果必须通过长上下文检索门槛和并发 KV 压力测试才被接受,并且随附工具强制交错对照与中位数,而不是依赖一次跑分。README 的前后对比表指向外部配方日志,读者比较硬件时应顺着这些链接查原始数据,而不宜把表格当作通用基准。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. trymirai/uzu在 Apple 芯片上本地跑 LLM 和 TTS 推理,给想要隐私和零推理成本的 App 开发者。Rust2,566
  2. kvcache-ai/Mooncake面向多节点 LLM 推理集群的服务基础设施,提供共享 KV Cache、RDMA 数据搬运与预填充-解码分离。C++6,907
  3. Helldez/BigMoeOnEdge通过从闪存流式读取专家,让超出设备内存的 MoE 模型在本机运行,并提供兼容 OpenAI 的本地服务。C++848
  4. eagle-hq/EAGLE-4给 SGLang、vLLM、TokenSpeed 用的投机解码 drafter 与 harness,让加速在不同 batch 和硬件上都有效。Python967
  5. JakeATX/llamAmpere面向 NVIDIA RTX 30 系显卡的 llama.cpp 分支,主打 Qwen 长上下文推理与低显存配置。C++301