两种 AutoResearch
“AutoResearch” 现在指两类完全不同的东西。很多宣传讲 star 数时说的是一类，讲论文质量时说的是另一类，读的时候要分清。
| Karpathy 式 autoresearch（指标爬山循环） | AI-Scientist 式端到端 pipeline | |
|---|---|---|
| 代表 | karpathy/autoresearch（2026-03-06，约 98k★）及大量 fork | Sakana AI Scientist、ARIS、AutoResearchClaw 等 |
| 做什么 | agent 改 train.py，训练约 5 分钟，按验证指标决定保留还是丢弃，然后重复 |
从 idea 出发，依次做文献、实验、分析、写作、审稿 |
| 产出 | 一个 git 分支和 results.tsv，不写论文 | 一份 LaTeX 论文 |
| 关键证据 | Karpathy 跑了约 2 天、约 700 次改动，找到约 20 个能迁移到 d24 的改进，把 nanochat 的 Time-to-GPT-2 从 2.02h 降到 1.80h（约 11%）；第二轮降到 1.65h | 见真实评审中的案例 |
| 局限 | Karpathy 自己的评价是 “It’s not novel, ground-breaking "research" (yet)”，但他也说这些改动都是真实有效的、是他之前没找到的，叠加后确实提升了 nanochat。第二轮的提升来自他让 agent 去参考 modded-nanogpt，也就是借鉴人类已有的工作。另一项研究（2603.24647）在同一任务上发现，直接改 train.py 的 Opus 4.6 agent（API 循环，不是 Claude Code）与经典超参优化器 TPE 基本打平（0.9770 对 0.9768），把 CMA-ES 和 Opus 4.6 结合的 Centaur 最好（0.9739） | 见主要失败模式 |
几点补充：
- Karpathy 的运行用的是 Claude。nanochat 的 commit 写的是 “developed by Claude running autonomously over ~2 days”。
- Codex 当时会 “ignores instruction to never stop”（issue #57），之后 Codex CLI 在 0.128.0（2026-04-30）加入了
/goal。 - Karpathy 已于 2026-05-19 加入 Anthropic 预训练团队。
- 你本地装的
autoresearch插件（Modify → Verify → Keep/Discard）属于左边这一类。
实践结论：autoresearch 循环最适合当“实验引擎”，嵌进一个由人设定问题和评估协议的项目里使用，对应推荐流水线中的 S4。