搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

bojieli/ai-infra-book

学习资源

从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计的开源书稿。

7,878
635
Python
Apache-2.0
创建于 2 个月前

项目介绍

《深入理解 AI Infra:量化分析与系统设计》是李博杰所著的开源书稿,讲的是如何从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统的设计。全书的方法是「从约束推导设计」:先明确任务与质量要求,列出计算、存储、通信和依赖关系,再对照硬件的容量、带宽和算力做数量级估算。十二章从「一次生成需要多少显存、计算和数据读写」讲起,依次覆盖模型架构、推理与训练负载、加速器架构、算子与运行时、超节点、数据中心网络、推理优化、分布式推理、训练系统、资源调度,最后到端边云协同。

适合已经调用过模型 API 或在本地跑过模型、想弄清模型为什么慢、如何降低成本的人;做系统、网络和芯片的工程师,以及相关方向的研究人员和学生也能使用。阅读需要一些 Python、线性代数和计算机系统基础,具体要求见前言。

阅读方式

可以直接在在线阅读网站阅读,也可以下载简体中文 PDF 或 EPUB。仓库还收录了社区翻译版本:英文版由 @tg1482 翻译,繁體中文版由 @edward821220 贡献,俄语版由 @ilkruglov 组织完成,各版本都提供 PDF、EPUB 和在线阅读入口。

正文的唯一来源是 manuscripts/ 下的 Markdown,网页版和 PDF 都由它构建生成,改正文要直接改这里。GitHub 直接渲染 Markdown 时公式可能显示不全,通读建议用 PDF 或在线阅读版。

运行配套计算工具

配套计算 CLI 可以复算书中的数字,也可以换一组模型和输入估算资源需求。它只需要 Python 3.10+ 标准库,不需要 GPU 或模型权重。克隆仓库后运行:

git clone https://github.com/bojieli/ai-infra-book.git
cd ai-infra-book

python3 calculations/calc.py models
python3 calculations/calc.py forward --model qwen3-8b --tokens 8192 --format md

第一条命令查看支持的模型,第二条估算 Qwen3-8B 在 8192-token prefill 下的逐算子资源需求,并以 Markdown 表格输出。模型配置和结果索引见计算工具说明。

仓库范围与使用约束

论文和较大的输入、测量记录存放在 Git LFS 中,合计约 20 GB。.lfsconfig 默认跳过所有 LFS 文件,普通克隆后工作区只留下指针;正文、配图和静态计算都不依赖它们。复现某个实验时只下载对应目录,例如:

git lfs install
git lfs pull --include="experiments/ch05/05-01/**" --exclude=""

实验按 experiments/chXX/XX-YY/ 存放,每个实验都附有运行方法、输入条件和结果说明,需要 GPU 的实验会注明硬件与依赖要求。构建 PDF 需要 Pandoc、XeLaTeX 和字体,构建网站需要 Python 3.10+ 和网站依赖。原创正文、配图与配套代码采用 Apache-2.0,仓库中的第三方代码、字体、模板和参考资料保留各自许可。书稿仍是初稿、持续修订中,复现或引用结果时要留意所用的书稿版本、模型、硬件和输入参数。

HotRepo 点评

这个项目的核心交付是学习材料而不是软件工具:完整书稿、计算 CLI、按章实验和案例分析都有实际内容,足以支撑仓库独立存在。2026-11-15 的记录显示 7,796 star、624 fork,当日新增 151 star,并在 Python 语言日榜取得第 4 名;这只是单日快照,不能据此判断趋势。对读者而言,价值在于量化方法本身——书中反复追问搬什么、搬多少、搬几次、经过哪里、谁必须等它,计算工具则让人能用自己的模型和硬件核算这些估算,而不必照单全收书里的数字。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。