jingyaogong/minimind
机器学习从零用 PyTorch 训练 64M 小型语言模型并覆盖预训练到强化学习全流程的开源项目,适合想亲手复现 LLM 的个人开发者。
项目介绍
MiniMind 用原生 PyTorch 从零实现一个小型语言模型及其完整训练链路,不依赖 transformers / trl / peft 等高层封装中的核心算法。主线 minimind-3 是 64M 参数的 Dense 解码器模型,结构对齐 Qwen3 生态,另有 198M-A64M 的 MoE 版本,均已发布(模型合集)。
项目覆盖 Tokenizer 训练、预训练、监督微调、LoRA、白盒/黑盒蒸馏、DPO、PPO / GRPO / CISPO、工具调用、Agentic RL 与自适应思考,所有关键算法手写实现,既是可复现的模型仓库,也是面向初学者的 LLM 教学项目。
与在现有大模型上做 LoRA 微调不同,它从一个未训练的神经网络开始,用精选的小数据集跑完整流程,单张消费级显卡即可完成。按作者给出的实测,单卡 3090 上 SFT 一个 epoch 约 2 小时,mini 数据组合的预训练 + SFT 约 2.31 小时、租卡成本约 3 元。
快速开始:用已发布模型推理
克隆仓库并安装依赖(作者环境为 Python 3.10.16):
git clone --depth 1 https://github.com/jingyaogong/minimind
cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
从 ModelScope 或 Hugging Face 下载转换好的 Transformers 格式模型:
modelscope download --model gongjy/minimind-3 --local_dir ./minimind-3
# 或
git clone https://huggingface.co/jingyaogong/minimind-3
在仓库根目录运行命令行推理:
python eval_llm.py --load_from ./minimind-3
想用 Streamlit 聊天界面,需要先把模型目录复制到 scripts/ 下,因为界面脚本只扫描该目录中的权重:
cp -r minimind-3 ./scripts/minimind-3
cd scripts && streamlit run web_demo.py
仓库也给出 Ollama、vLLM、llama.cpp 的接入方式,例如 ollama run jingyaogong/minimind-3。
快速开始:从零训练
从数据集发布页下载 pretrain_t2t_mini.jsonl 和 sft_t2t_mini.jsonl 放入 ./dataset,确认当前 PyTorch 能识别 GPU,然后在 trainer 目录执行两个必需阶段:
cd trainer
python train_pretrain.py
python train_full_sft.py
训练输出为 out/pretrain_*.pth 和 out/full_sft_*.pth,其中 * 表示模型维度,默认 768。可用 python eval_llm.py --weight full_sft 测试结果,预训练权重则用 --weight pretrain。所有训练脚本支持 --from_resume 1 断点续训,多卡使用 torchrun --nproc_per_node N train_xxx.py。LoRA、DPO、PPO、GRPO、Agentic RL 等可选阶段各有对应脚本,同样在 trainer/ 下。
使用约束
- 模型体量很小:64M 版本具备基础对话能力,但事实知识与泛化有限;README 也指出 0.1B 级模型在通用推理任务上会遇到严重的奖励稀疏问题。
- 训练需要可用的 CUDA(也支持 CPU / MPS)PyTorch 环境,CPU 能跑但慢很多;多卡依赖 DDP 或 DeepSpeed。
- 自带 Tokenizer 词表只有 6400,体积更小但编解码效率低于 Qwen 一类词表;README 不建议重新训练 Tokenizer,以免破坏权重和生态兼容性。
- 工具调用能力基于约 10 个模拟工具、约 10 万条合成样本训练,对未见过工具泛化有限;显式思考与 Tool Call 同时开启时输出还不稳定。
- DPO、PPO、GRPO、CISPO、Agent、LoRA 等实验阶段并非所有权重都持续维护和公开。
- 项目采用 Apache-2.0 协议。
HotRepo 点评
2026-11-17 该项目出现在 GitHub 全部语言日榜第 14 位,当日新增 188 Star,累计 65,623 Star、8,605 Fork;更早的记录显示 2026-09-01 和 2026-09-02 连续两天各新增约 1,005 Star,热度并非单日突起。2026 年 3 月的一则 HN 讨论称它是理解现代 LLM 技术栈的清晰资料,覆盖从 Tokenizer 训练到 SFT、LoRA 的流程(HN 评论),不过该评论描述的是约 25M 参数的早期版本,与当前 64M 主线不同,应以仓库现状为准。对希望用个人显卡跑通训练闭环的读者来说,公开数据集、已发布权重和手写算法三者齐备,是它最实用的部分。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
Hacker News 讨论
相关推荐
- karpathy/nanochat在单张 GPU 节点上端到端训练 GPT-2 级小模型的最小化、可改造代码库。
- unslothai/unsloth一个在本地运行和微调大模型与扩散模型的桌面应用,适合想在自有显卡上训练模型的人。
- MakazhanAlpamys/Soup用一份 YAML 完成 LLM 微调与后训练的命令行工具,含低显存层流式训练。
- huawei-csl/MACaQ把文本、图像、视频和音频模型量化为低精度,并交给 llama.cpp、vLLM、Diffusers 或 PyTorch 运行。
- NVIDIA/Model-Optimizer用量化、剪枝、蒸馏和投机解码压缩 LLM、VLM 与扩散模型,加速下游推理部署。