给 AI 助手装技能
装上一个技能,Claude Code、Codex、Cursor 这类 AI 助手就多会一件事。
推理服务
9 个技能给团队部署的高吞吐推理服务。
- inference-optimisation16次安装测量并优化本地大模型的运行速度,逐项测试改动并记录结果。
- kv-cache-design通过保持 KV Cache 不失效、避免破坏缓存的上下文写法,加快推理并降低成本。
- accelerator-selection针对给定模型负载,比较加速器的容量、有效算力、显存带宽、功耗与成本。
- agent-runtime-capacity规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复,分析并发容量与时延。
- distributed-inference比较推理副本、prefill/decode 分离、专家放置与共享 KV 等跨实例推理方案。
- inference-serving为单实例推理服务比较批处理、调度、KV 缓存、卸载与推测解码的取舍。
- model-footprint比较模型或架构改动对权重容量、KV 状态、前向计算与访存的影响。
- resource-budget估算一次模型执行能否放入给定硬件,并定位计算、访存与串行等待的下界。
- workload-modeling把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。