esc
搜索你想找的开源项目
输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
HotRepo
搜索
热榜
分类
Skills
刊物
专题
月报
周刊
Star 历史
MCP
EN
/
中
登录
账户
全部技能
B
workload-modeling
把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。
属于
bojieli/ai-infra-book
机器学习 · 推理服务
更多推理服务技能
看全部
N
serving-llms-vllm
66
以高吞吐量部署大语言模型,提供兼容 OpenAI 的接口并支持量化。
出自 NousResearch
N
tensorrt-llm
21
在 NVIDIA GPU 上以高吞吐量运行大语言模型推理。
出自 NousResearch
N
perf-optimization
18
将性能工作分派给合适的专项技能,并按安全顺序应用优化或内核改动。
出自 NVIDIA
S
inference-optimisation
16
测量并优化本地大模型的运行速度,逐项测试改动并记录结果。
出自 sybil-solutions
同一个包里还有
B
accelerator-selection
针对给定模型负载,比较加速器的容量、有效算力、显存带宽、功耗与成本。
B
agent-runtime-capacity
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复,分析并发容量与时延。
B
cluster-network-analysis
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。
B
distributed-inference
比较推理副本、prefill/decode 分离、专家放置与共享 KV 等跨实例推理方案。
看整个包的 12 个技能
反馈与建议
×
问题反馈
功能建议
数据纠错
具体内容
0 / 3000
联系方式
(选填)
提交