Interactive-Active-AI/NextTransformer

项目介绍

NextTransformer 是一个基于 PyTorch 的框架与基准，用于在固定训练预算下公平比较 Transformer 的替代架构。它不让参数量、显存或速度左右对比，而是让每个模型使用相同的数据、相同的 token 数，并把理论训练算力控制在规定容差内，再在相同 checkpoint 上评测。模型库覆盖稠密注意力基线、残差流变体、循环深度/looped 模型、稀疏注意力、线性注意力，以及 GDN–MHA、GDN–SWA 等混合结构。适合想验证某个注意力或架构想法、又不想重写整套训练栈的研究者和工程师。

项目还提供可回放的排行榜和可观测站点，包含学习曲线、CORE 任务结果、架构图和模型卡片。Arena 机制允许让 LLM 或研究代理在相同规则下提交架构。

评测协议

协议固定数据集（指定 revision 的 ClimbMix）、分词器、2,048 token 上下文和全局采样顺序。一次正式运行训练 49.152B 输入 token，分 46,875 次更新，每次 1,048,576 token，种子为 42。算力设定为 4.672 GFLOPs/token，准入时审计误差 ±1%，全程 ±2%。评测包括 189 个验证 BPB 点、6 个 checkpoint 上的完整 CORE-22，以及独立的最终 BPB。参数量、显存和速度是结果而非控制变量；协议文档给出了全部规则，算力核算说明统计口径。

快速使用

前置条件为 Linux、NVIDIA GPU 和 uv。安装与数据准备如下：

git clone https://github.com/Interactive-Active-AI/NextTransformer.git && cd NextTransformer
uv sync --frozen --extra gpu --extra upstream && source .venv/bin/activate
uv pip install --no-deps --require-hashes -r requirements/linear.txt

cp site.native.example.json site.local.json   # 填写 runtime_dir、resources 和 data_dir
hf download karpathy/climbmix-400b-shuffle --repo-type dataset \
  --revision 915333b4f8b8684f39aeaafea600fea6f43fb703 --local-dir /path/to/climbmix-400b-shuffle
source launch/env.sh --site-config site.local.json
python -m nexttransformer.prepare --site-config site.local.json

数据集约 600 GB。随后在单台 8 卡节点上训练稠密基线：

launch/train.sh --config configs/baseline/dense_full.json --site-config site.local.json \
  --output runs/dense_full --micro-batch 8 --formal --resume auto

多节点训练需安装 accelerate==1.15.0、导出 FLA_DISABLE_BACKEND_DISPATCH=1，用 accelerate launch --config_file launch/accelerate.yaml 启动每个节点的入口，并把节点 rank、主节点地址和端口映射到 NODE_RANK、MASTER_ADDR、MASTER_PORT；Slurm 上提交 launch/slurm.sbatch。评测会在训练期间按计划运行。快速入门指南覆盖冒烟测试、评测、审计和结果导出。

添加新架构

新方法是一个位于 nexttransformer/methods/<name>/ 的插件目录，包含 method.json 和少量 hook，无需修改共享文件。它必须先通过 python -m nexttransformer.protocol.calibrate --methods <name> ... 校准到共享算力预算，再以 pull request 申请准入；获批后进行 --formal 正式训练，并在第二个 pull request 中提交结果。参见插件指南和 CONTRIBUTING.md。

使用约束

README 所述运行规模约为 1.4B 参数、49B token，在单台 8 卡节点上需 2–4 天，因此完整对比需要可观的 GPU 和存储资源，且固定数据集下载体积很大。Arena 仍在开发中，支持 MCP 工具、计量算力和研究轨迹的 Arena v2 计划于 2026 年 11 月 14 日发布。checkpoint 和分词器只是计划发布到 Hugging Face，尚未列出可用。项目采用 MIT 许可证，基于 nanochat、modded-nanogpt 和 flash-linear-attention 内核构建。

HotRepo 点评

NextTransformer 创建于 2026-10-31，2026-11-02 首次出现在 HotRepo 新项目榜：记录到 113 star、8 fork，增长窗口内新增 7 star。README 宣称的数十次完整训练、算力审计和多节点训练栈，规模远超三小时 star 采样能够验证的范围。可观察到的结构性信息是：仓库把可复现协议、插件机制和公开排行榜绑在一起，这是最值得评估的部分。该项目尚未记录到 GitHub 全语言日榜名次，因此仅凭这一次快照不能得出热度趋势结论。