RikiyaT/lm_understand-logs

项目是什么

这个仓库公开了博客文章《Sparks of Weight Space Programming: LLMs can understand and write neural network weights》背后的完整实验日志，属于研究资料而非可安装的工具库。每个实验都保存了发给模型的内容、模型的回复（含推理摘要）、模型运行过的代码及其看到的输出、文章中每个数字对应的评分过程，以及模型读取或写出的网络 (2)。

八个实验覆盖权重层面的任务：判断一个网络是在哪个游戏上训练的、推断扩散模型生成什么、从语言模型中间层判断它学的是哪种语言、通过修改权重修复失效网络、从零写出小型游戏网络、写出 1.5M 权重的围棋网络、探测谄媚倾向，以及提升语言模型的数学表现 (3)。它适合希望核查或复现这些结论的研究者和工程师，而不是想找现成工具的用户。

实验如何运行

文中的 "Astra" 是 OpenAI 的 gpt-6-astra，通过 Codex CLI 驱动：每一轮都是一次 codex exec 调用（续接对话用 codex exec resume <thread>），提示词从 stdin 输入，推理强度逐次设置并记录在 run.json 中 (12)。内置工具（shell、文件编辑、网络搜索、看图、子代理、插件等）通过 Codex 配置关闭；每一轮都做了审计，只有事件流中仅包含模型消息、推理摘要和 Codex 的 code mode 关闭提示时才算作无工具，本版本 1,125 轮全部标记为无工具 (12)。

实验 3、6、7、8 允许模型每轮写一段 Python 代码，由 bubblewrap 沙箱执行：无网络、运行间保留工作目录、每次运行有时间限制；代码打印的输出作为下一条消息回传，并记录在 tool_calls.jsonl (12)。

如何使用这些日志

从根目录 README 的表格入手，它把每个实验目录对应到文章中的实验、收录的运行和允许使用的工具 (3)。每个实验目录都有自己的 README，说明哪次运行对应文章中的哪个标签页或行，以及每个数字来自哪个文件。

单次运行的关键文件见 文件说明表：prompt.txt 和 message.txt 是发送内容，events.jsonl 是 Codex 原始事件流（含 token 用量），tool_calls.jsonl 是沙箱代码及输出，run.json 记录模型、推理强度、token 数、耗时和审计标记，state.json 是对话记录；eval/ 保存带答案的评分，networks/ 保存模型读写过的网络。日志中的内部路径替换为 <data>、<repo>、<codex> 等占位符，Codex 线程 id 替换为 id- 加 8 位十六进制，同一对话在各文件中保持一致 (16)。资料中没有一条可安装即运行的命令；复现路径是阅读实验目录 README，再检查或重跑其中记录的步骤。

限制与未包含内容

部分产物被有意排除 (17)：实验 7 的 17 GB Gemma 3 270M 微调结果（提供了数据、训练脚本和哈希，可重建）、模型工作中的中间文件（激活值、生成文本转储、草稿网络）、实验 3 的 Python 语料（改用清单和重建脚本），以及实验 8 生成内容中的 GPQA 题目原文（保留了分数和逐题结果）。因此完整复现结果需要重建这些部分或自行获取第三方评测数据，而这些基准各自遵循原有许可证。

许可证按内容区分：日志、数据和网络为 CC BY 4.0，脚本为 MIT，实验 5 提示词中的 MinAtar 源码为 GPL-3.0 (18)。GitHub 将 LICENSE 标为 NOASSERTION，再分发或复用前应先查看 许可证文件和上面的内容分类表。

HotRepo 点评

HotRepo 在 2026-11-02 的新项目榜中记录到该仓库：UTC 21:45 至 22:45 的窗口内新增 29 个 Star 和 1 个 Fork，总数达到 138 Star 和 13 Fork。这只有一个快照，反映的是发布初期的一波关注，而不是持续趋势。对读者而言，它的价值在于可核查的审计链条：无工具轮次的审计、沙箱化代码执行和逐数字的来源说明，让文章结论可以落到文件级别去核对；而明确的未包含清单也说明了日志在哪些部分需要自行补齐。