搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

pytorch/torchtitan

机器学习

面向大规模生成式模型预训练、微调与强化学习的 PyTorch 原生训练平台,适合研究者和训练工程师。

5,926
1,091
Python
BSD-3-Clause
创建于 2 年前

项目介绍

torchtitan 是 PyTorch 官方维护的原生训练平台,把生成式模型的预训练、监督微调、LoRA 和强化学习放在同一套代码里 README。它面向要自己训练或研究大模型的研究者和训练工程师,而不是调用托管 API 的应用开发者。

核心设计是可组合并行:模型声明如何切分,FSDP2、张量并行、流水线并行、上下文并行和专家并行通过 DeviceMesh 与 DTensor 叠加成 N 维布局。每次训练都是一个 Python recipe 函数,改模型或改配置通过写函数完成,而不是堆一长串命令行参数,便于阅读、复制和修改 配置指南、recipes。

仓库内置 Llama 3、Qwen3、DeepSeek V3/V4、gpt-oss、Kimi、Muse 以及 FLUX 文生图等模型实现,每个模型都有 CI 中运行的 debug 配置,verified recipe 用于训练、收敛和性能验证。配套的 TitanRL 让训练器与 vLLM 生成复用同一套模型定义和 kernel,并提供 batch-invariant 模式以实现训练与生成逐位一致 RL 文档、一致性说明。

快速使用

官方入门流程使用 Python 3.11+ 和 PyTorch nightly 从源码安装,先跑一个小 debug 模型,再切到真实模型。

git clone https://github.com/pytorch/torchtitan && cd torchtitan
pip install --pre torch --index-url https://download.pytorch.org/whl/nightly/cu132
pip install -r requirements.txt
NGPU=1 ./run_train.sh

把 cu132 换成你使用的 CUDA 或 ROCm 构建。run_train.sh 使用测试自带的 tokenizer,训练 Llama 3 debug 模型 10 步,不需要额外下载 快速开始。

训练真实模型时,先下载 tokenizer(Llama 权重需要在 Hugging Face 申请访问权限),再按模块和函数名选择 recipe:

python scripts/download_hf_assets.py --repo_id meta-llama/Llama-3.1-8B --assets tokenizer --hf_token=<你的 token>
MODULE=torchtitan_recipes.models.llama3 CONFIG=llama3_8b ./run_train.sh

8B recipe 按文档是 8 卡运行。要改并行配置,写一个返回修改后 config 的 Python 函数,再把 MODULE/CONFIG 指向它,写法见 recipe 示例 recipes。

使用约束

主流程依赖较新的 PyTorch nightly,README 明确说明要使用最新特性需搭配最近的 nightly。除了源码安装,也提供 nightly 和稳定版 pip/conda 安装,每个稳定版会锁定其验证过的 torch 与 torchao nightly 版本 发布页。

项目处于活跃开发阶段,API 和 recipe 都可能变化。MXFP8/NVFP4 低精度训练需要单独安装对应 torchao nightly;RL 需要专用环境脚本安装 vLLM、Monarch、TorchStore 和 FlashAttention。多机 Slurm 训练要同时调整 #SBATCH 头和 torchrun --nnodes,节点不足 8 卡时还要改 --nproc_per_node。

真实模型训练依赖外部权重及其许可证。源码采用 BSD-3-Clause,第三方数据和模型的条款由使用者自行处理 许可证。

HotRepo 点评

在 2026-11-19 的 Python 语言日榜上,torchtitan 排到第 12 名,当天记录的 Star 净增为零。这只是一个名次事实,不足以说明上升趋势:现有记录只有一个日期快照。约 5.9k Star、一千多个 fork 的体量,更像一个已经站稳的训练基座,而不是新晋爆款。对读者更有参考价值的是周边生态——ICLR 2025 论文、AMD 优化分支、SkyPilot 集成,以及 DatologyAI 的弹性确定性数据加载集成——这些说明它被用于真实的大规模训练流程,而不只是教学示例。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

Hacker News 讨论

Torchtitan: Large-scale LLM training using native PyTorch
▲ 1 · 0 条评论 · 2024年7月16日

相关推荐

  1. NVIDIA-NeMo/Speech面向语音识别、语音合成与语音大模型的研究与开发框架,可训练、微调并部署模型。Python18,655
  2. jingyaogong/minimind从零用 PyTorch 训练 64M 小型语言模型并覆盖预训练到强化学习全流程的开源项目,适合想亲手复现 LLM 的个人开发者。Python65,623
  3. drost-ai/tinker-ai-skill把 Claude Code 会话记录转成可本地运行的 LoRA 微调模型,并提供完整流水线。Python106
  4. pollen-robotics/microduck_rl为小型双足机器人提供强化学习训练环境与 sim2real 方案,让训练出的步态真正跑到实机上。Python2,617
  5. google-pytorch/torch_tpu让 PyTorch 用户通过原生 ATen 后端在 Google TPU 上运行和训练模型。C++794