logitcai/tinybrain
机器学习从零实现中文小模型,开源 60B token 数据、分词器和预训练到强化学习的全流程 PyTorch 代码。
项目介绍
tinybrain 是一个从零做中文小模型的项目,不只是模型代码,还包括数据流水线:从 26 个公开来源下载、清洗、跨来源去重,按配比切成 1B / 5B / 20B / 60B 四档 token,发布为 ModelScope 上的 tinybrain dataset。分词器是自训的 SentencePiece BPE(32768 词表);模型结构用了多流残差 mHC、Engram 查表记忆、3:1 滑动窗口注意力和 Muon 优化器,最大档为 MoE;训练链覆盖预训练、退火、SFT、领域专家、多老师在线蒸馏和 RLVR / agent RL / RLAIF README。
它适合想读一份完整中文 LLM 实现的人、只有单张消费级显卡想做小实验的人,以及关注 mHC、Engram、Dr. GRPO 等训练细节的研究者。它不是有竞争力的聊天助手:作者自己说明 RC1 权重仍有明显算术错误,独立终评尚未完成。
快速使用
直接试用已发布的 Small 对话模型。需要 Python 3.11+,并预留约 639 MiB 权重空间。
python -m pip install modelscope
modelscope download --model caiwangzsnm/TinyBrain-Small-Chat-20261119-RC1 --local_dir ./tinybrain-small
python -m pip install ./tinybrain-small/tinybrain-0.1.0-py3-none-any.whl safetensors
tinybrain chat ./tinybrain-small --device auto
Medium 权重(4.99 亿参数,1.86 GiB)在 Medium 模型页提供对应命令。想从源码训练,则克隆仓库、pip install -e ".[data]",从 ModelScope 下载 pretrain_nano.parquet 后运行 tinybrain pretrain 和 tinybrain sft;用 tinybrain generate、tinybrain chat --demo 查看效果,tinybrain serve 在 127.0.0.1:8001 打开本地聊天网页 快速开始。
模型结构
残差被扩成四条流,用 Sinkhorn 迭代约束成双随机矩阵来混合;Engram 按 2、3 元词组哈希查表,再做门控注入;注意力是分组查询加 QK 归一化、RoPE,每四层有三层只看最近 1024 个词。large 档换成 48 选 8 的 MoE,加两个共享专家、偏置负载均衡和可选 LatentMoE。训练时矩阵用 Muon,词向量、输出层、记忆表和零碎系数用 Adam 模型。
使用约束
最小训练配置面向 16GB 消费级显卡:作者报告 small 在 2048×16 下约 7 万 token/秒、显存峰值约 12.5 GiB,medium 用微批 4 加梯度累积 4 可在 RTX 5070 Ti 上跑。CPU 和 MPS 走普通 PyTorch 路径。CUDA 加速依赖 Liger Kernel 和 FlexAttention,Windows 需要匹配的 triton-windows 并设置 PYTHONUTF8=1。多卡(ZeRO-1)目前只支持预训练和退火,SFT、蒸馏、RL 仍是单卡。RLAIF 和部分评测需要另起 Qwen3.8-27B 评审服务,16GB 显卡放不下。
代码是 MIT 许可证,但混合数据集没有统一许可证:每篇文档带 license 列,百度百科和 shu 的上游许可证标为「待确认」,商用前需按来源核查。作者也列了未完成项,包括 Small 和 Medium 的独立终评、评分细则校准、古文诗词专门评测,large 档尚未训练 README。
HotRepo 点评
tinybrain 在 2026-11-20 进入 HotRepo 新项目榜,当天记录 137 star,约一小时的窗口内净增 16 star,累计 4 fork;没有记录到全部语言日榜名次,这只能算早期小信号,不能说明采用率。相比常见的从零教学仓库,它的覆盖范围更完整:数据流水线、分词器、mHC/Engram 模型代码、在线蒸馏和 Dr. GRPO 风格的 RL 都给出了具体公式和文件路径,并且作者主动说明 RC1 准确率弱、独立评估缺失,而不是把结果说得更好。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。
相关推荐
- pytorch/torchtitan面向大规模生成式模型预训练、微调与强化学习的 PyTorch 原生训练平台,适合研究者和训练工程师。
- jingyaogong/minimind从零用 PyTorch 训练 64M 小型语言模型并覆盖预训练到强化学习全流程的开源项目,适合想亲手复现 LLM 的个人开发者。
- rohitg00/ai-engineering-from-scratch用 542 节课带你亲手实现、测试并评估模型内部、检索流水线与 Agent 运行时,而不是只会调 API。
- Helldez/BigMoeOnEdge通过从闪存流式读取专家,让超出设备内存的 MoE 模型在本机运行,并提供兼容 OpenAI 的本地服务。