针对给定模型负载,比较加速器的容量、有效算力、显存带宽、功耗与成本。
全部技能
bojieli/ai-infra-book
提供 AI 基础设施的量化分析方法,涵盖硬件、模型、推理、训练与网络。
- 12 个技能
- 7796 Star
装得最多的 5 个
规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复,分析并发容量与时延。
估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。
比较推理副本、prefill/decode 分离、专家放置与共享 KV 等跨实例推理方案。
比较模型或任务放在端侧、边缘或云端时的交互延迟、传输、能耗与恢复。
其余 7 个技能
为单实例推理服务比较批处理、调度、KV 缓存、卸载与推测解码的取舍。
诊断 GPU 算子、融合、编译与运行时提交问题,判断什么位于请求关键路径。
比较模型或架构改动对权重容量、KV 状态、前向计算与访存的影响。
比较数据、张量、序列、上下文、流水与专家并行的容量和通信代价。
估算一次模型执行能否放入给定硬件,并定位计算、访存与串行等待的下界。
估算训练或 RL 作业的显存、步时、checkpoint、故障重做与完成期限。
把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。