搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接
把 Star 增长图也放进 README →

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

jingyaogong/minimind

机器学习

从零用 PyTorch 训练 64M 小型语言模型并覆盖预训练到强化学习全流程的开源项目,适合想亲手复现 LLM 的个人开发者。

在 GitHub Trending 日榜上的最好名次:第 13 名。点击获取 README 徽章
66,431
8,717
Python
Apache-2.0
创建于 2 年前

项目介绍

MiniMind 用原生 PyTorch 从零实现一个小型语言模型及其完整训练链路,不依赖 transformers / trl / peft 等高层封装中的核心算法。主线 minimind-3 是 64M 参数的 Dense 解码器模型,结构对齐 Qwen3 生态,另有 198M-A64M 的 MoE 版本,均已发布(模型合集)。

项目覆盖 Tokenizer 训练、预训练、监督微调、LoRA、白盒/黑盒蒸馏、DPO、PPO / GRPO / CISPO、工具调用、Agentic RL 与自适应思考,所有关键算法手写实现,既是可复现的模型仓库,也是面向初学者的 LLM 教学项目。

与在现有大模型上做 LoRA 微调不同,它从一个未训练的神经网络开始,用精选的小数据集跑完整流程,单张消费级显卡即可完成。按作者给出的实测,单卡 3090 上 SFT 一个 epoch 约 2 小时,mini 数据组合的预训练 + SFT 约 2.31 小时、租卡成本约 3 元。

快速开始:用已发布模型推理

克隆仓库并安装依赖(作者环境为 Python 3.10.16):

git clone --depth 1 https://github.com/jingyaogong/minimind
cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple

从 ModelScope 或 Hugging Face 下载转换好的 Transformers 格式模型:

modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3
# 或
git clone https://huggingface.co/jingyaogong/minimind-3

在仓库根目录运行命令行推理:

python eval_llm.py --load_from ./minimind-3

想用 Streamlit 聊天界面,需要先把模型目录复制到 scripts/ 下,因为界面脚本只扫描该目录中的权重:

cp -r minimind-3 ./scripts/minimind-3
cd scripts && streamlit run web_demo.py

仓库也给出 Ollama、vLLM、llama.cpp 的接入方式,例如 ollama run jingyaogong/minimind-3。

快速开始:从零训练

从数据集发布页下载 pretrain_t2t_mini.jsonl 和 sft_t2t_mini.jsonl 放入 ./dataset,确认当前 PyTorch 能识别 GPU,然后在 trainer 目录执行两个必需阶段:

cd trainer
python train_pretrain.py
python train_full_sft.py

训练输出为 out/pretrain_*.pth 和 out/full_sft_*.pth,其中 * 表示模型维度,默认 768。可用 python eval_llm.py --weight full_sft 测试结果,预训练权重则用 --weight pretrain。所有训练脚本支持 --from_resume 1 断点续训,多卡使用 torchrun --nproc_per_node N train_xxx.py。LoRA、DPO、PPO、GRPO、Agentic RL 等可选阶段各有对应脚本,同样在 trainer/ 下。

使用约束

  • 模型体量很小:64M 版本具备基础对话能力,但事实知识与泛化有限;README 也指出 0.1B 级模型在通用推理任务上会遇到严重的奖励稀疏问题。
  • 训练需要可用的 CUDA(也支持 CPU / MPS)PyTorch 环境,CPU 能跑但慢很多;多卡依赖 DDP 或 DeepSpeed。
  • 自带 Tokenizer 词表只有 6400,体积更小但编解码效率低于 Qwen 一类词表;README 不建议重新训练 Tokenizer,以免破坏权重和生态兼容性。
  • 工具调用能力基于约 10 个模拟工具、约 10 万条合成样本训练,对未见过工具泛化有限;显式思考与 Tool Call 同时开启时输出还不稳定。
  • DPO、PPO、GRPO、CISPO、Agent、LoRA 等实验阶段并非所有权重都持续维护和公开。
  • 项目采用 Apache-2.0 协议。

HotRepo 点评

2026-11-17 该项目出现在 GitHub 全部语言日榜第 14 位,当日新增 188 Star,累计 65,623 Star、8,605 Fork;更早的记录显示 2026-09-01 和 2026-09-02 连续两天各新增约 1,005 Star,热度并非单日突起。2026 年 3 月的一则 HN 讨论称它是理解现代 LLM 技术栈的清晰资料,覆盖从 Tokenizer 训练到 SFT、LoRA 的流程(HN 评论),不过该评论描述的是约 25M 参数的早期版本,与当前 64M 主线不同,应以仓库现状为准。对希望用个人显卡跑通训练闭环的读者来说,公开数据集、已发布权重和手写算法三者齐备,是它最实用的部分。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

Hacker News 讨论

MiniMind: End-to-end GPT-style LLM training pipeline in pure PyTorch
▲ 3 · 1 条评论 · 2026年3月24日

相关推荐

  1. karpathy/nanochat在单张 GPU 节点上端到端训练 GPT-2 级小模型的最小化、可改造代码库。Python59,586
  2. unslothai/unsloth一个在本地运行和微调大模型与扩散模型的桌面应用,适合想在自有显卡上训练模型的人。Python78,537
  3. MakazhanAlpamys/Soup用一份 YAML 完成 LLM 微调与后训练的命令行工具,含低显存层流式训练。Python10,061
  4. huawei-csl/MACaQ把文本、图像、视频和音频模型量化为低精度,并交给 llama.cpp、vLLM、Diffusers 或 PyTorch 运行。C++112
  5. NVIDIA/Model-Optimizer用量化、剪枝、蒸馏和投机解码压缩 LLM、VLM 与扩散模型,加速下游推理部署。Python5,531