pytorch/torchtitan
机器学习面向大规模生成式模型预训练、微调与强化学习的 PyTorch 原生训练平台,适合研究者和训练工程师。
项目介绍
torchtitan 是 PyTorch 官方维护的原生训练平台,把生成式模型的预训练、监督微调、LoRA 和强化学习放在同一套代码里 README。它面向要自己训练或研究大模型的研究者和训练工程师,而不是调用托管 API 的应用开发者。
核心设计是可组合并行:模型声明如何切分,FSDP2、张量并行、流水线并行、上下文并行和专家并行通过 DeviceMesh 与 DTensor 叠加成 N 维布局。每次训练都是一个 Python recipe 函数,改模型或改配置通过写函数完成,而不是堆一长串命令行参数,便于阅读、复制和修改 配置指南、recipes。
仓库内置 Llama 3、Qwen3、DeepSeek V3/V4、gpt-oss、Kimi、Muse 以及 FLUX 文生图等模型实现,每个模型都有 CI 中运行的 debug 配置,verified recipe 用于训练、收敛和性能验证。配套的 TitanRL 让训练器与 vLLM 生成复用同一套模型定义和 kernel,并提供 batch-invariant 模式以实现训练与生成逐位一致 RL 文档、一致性说明。
快速使用
官方入门流程使用 Python 3.11+ 和 PyTorch nightly 从源码安装,先跑一个小 debug 模型,再切到真实模型。
git clone https://github.com/pytorch/torchtitan && cd torchtitan
pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu132
pip install -r requirements.txt
NGPU=1 ./run_train.sh
把 cu132 换成你使用的 CUDA 或 ROCm 构建。run_train.sh 使用测试自带的 tokenizer,训练 Llama 3 debug 模型 10 步,不需要额外下载 快速开始。
训练真实模型时,先下载 tokenizer(Llama 权重需要在 Hugging Face 申请访问权限),再按模块和函数名选择 recipe:
python scripts/download_hf_assets.py --repo_id meta-llama/Llama-3.1-8B --assets tokenizer --hf_token=<你的 token>
MODULE=torchtitan_recipes.models.llama3 CONFIG=llama3_8b ./run_train.sh
8B recipe 按文档是 8 卡运行。要改并行配置,写一个返回修改后 config 的 Python 函数,再把 MODULE/CONFIG 指向它,写法见 recipe 示例 recipes。
使用约束
主流程依赖较新的 PyTorch nightly,README 明确说明要使用最新特性需搭配最近的 nightly。除了源码安装,也提供 nightly 和稳定版 pip/conda 安装,每个稳定版会锁定其验证过的 torch 与 torchao nightly 版本 发布页。
项目处于活跃开发阶段,API 和 recipe 都可能变化。MXFP8/NVFP4 低精度训练需要单独安装对应 torchao nightly;RL 需要专用环境脚本安装 vLLM、Monarch、TorchStore 和 FlashAttention。多机 Slurm 训练要同时调整 #SBATCH 头和 torchrun --nnodes,节点不足 8 卡时还要改 --nproc_per_node。
真实模型训练依赖外部权重及其许可证。源码采用 BSD-3-Clause,第三方数据和模型的条款由使用者自行处理 许可证。
HotRepo 点评
在 2026-11-19 的 Python 语言日榜上,torchtitan 排到第 12 名,当天记录的 Star 净增为零。这只是一个名次事实,不足以说明上升趋势:现有记录只有一个日期快照。约 5.9k Star、一千多个 fork 的体量,更像一个已经站稳的训练基座,而不是新晋爆款。对读者更有参考价值的是周边生态——ICLR 2025 论文、AMD 优化分支、SkyPilot 集成,以及 DatologyAI 的弹性确定性数据加载集成——这些说明它被用于真实的大规模训练流程,而不只是教学示例。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
Hacker News 讨论
相关推荐
- NVIDIA-NeMo/Speech面向语音识别、语音合成与语音大模型的研究与开发框架,可训练、微调并部署模型。
- jingyaogong/minimind从零用 PyTorch 训练 64M 小型语言模型并覆盖预训练到强化学习全流程的开源项目,适合想亲手复现 LLM 的个人开发者。
- drost-ai/tinker-ai-skill把 Claude Code 会话记录转成可本地运行的 LoRA 微调模型,并提供完整流水线。
- pollen-robotics/microduck_rl为小型双足机器人提供强化学习训练环境与 sim2real 方案,让训练出的步态真正跑到实机上。
- google-pytorch/torch_tpu让 PyTorch 用户通过原生 ATen 后端在 Google TPU 上运行和训练模型。