搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
全部技能

bojieli/ai-infra-book

提供 AI 基础设施的量化分析方法,涵盖硬件、模型、推理、训练与网络。

  • 12 个技能
  • 7796 Star

装得最多的 5 个

  • 针对给定模型负载,比较加速器的容量、有效算力、显存带宽、功耗与成本。

  • 规划 Agent 模型调用与工具环境的创建、驻留、释放和恢复,分析并发容量与时延。

  • 估算多节点训练或推理的跨服务器流量、网络瓶颈与同步等待。

  • 比较推理副本、prefill/decode 分离、专家放置与共享 KV 等跨实例推理方案。

  • 比较模型或任务放在端侧、边缘或云端时的交互延迟、传输、能耗与恢复。

其余 7 个技能
  • 为单实例推理服务比较批处理、调度、KV 缓存、卸载与推测解码的取舍。

  • 诊断 GPU 算子、融合、编译与运行时提交问题,判断什么位于请求关键路径。

  • 比较模型或架构改动对权重容量、KV 状态、前向计算与访存的影响。

  • 比较数据、张量、序列、上下文、流水与专家并行的容量和通信代价。

  • 估算一次模型执行能否放入给定硬件,并定位计算、访存与串行等待的下界。

  • 估算训练或 RL 作业的显存、步时、checkpoint、故障重做与完成期限。

  • 把持续请求、多轮 Agent、实时交互或 RL 轨迹转成容量与时延负载。