推荐流水线（S0–S10）
十一个阶段
跳转到“十一个阶段”一节每一步都标了负责方和依据。
| 阶段 | 负责方 | 关键检查点 | 依据 |
|---|---|---|---|
| S0 护栏（一次性搭好） | 人 + Claude Code | • eval/** 和 data/test/** 对 agent 既不可读也不可写：权限 deny Read/Edit/Write，再加 PreToolUse hook 记录访问尝试。• 测试标签放在另一台机器、另一个账号或加密存储里，agent 只能拿到 train/val。 • 固定评估器哈希。 • 每次实验用全新 clone，不用 worktree。 • 论文里不许手写结果数字，只能用脚本从结果文件生成的宏。 • 锁死 .bib。• “never stop” 这类指令只出现在数值优化循环里 |
Quran 研究中的跨 run 泄漏；reward hacking 30.5%；完成压力下隐瞒性伪造为 20.6%，去掉压力后是 3.2% |
| S1 选题和新颖性 | 人决定；Claude Code 做文献检索；Codex 开新会话查有没有前人做过 | 人从 5–10 个候选中选 1 个，写清楚“谁会在乎、为什么”，写下止损条件 | idea 类问题事后只能修好 11%；Agents4Science 被接收论文的人工参与平均更多（相关性） |
| S2 预注册和评估契约 | 人批准；Claude 起草；Codex 挑刺；用 git tag 冻结 | PREREG.md；把评估约束写成可执行测试（固定解码方式、测试时计算量、各方法同等调参预算）；冻结后的改动只能记进 DEVIATIONS.md | Sakana 中的“多数投票”漏洞。Spark-to-Paper 的整套 gate 把植入无依据结论的检出率从 14% 提到 92%，这测的是整套流程，没有研究单独测过预注册的作用 |
| S3 实现和复现 baseline | Claude Code 实现；Codex 审 diff | baseline 复现到预设误差范围内，才开始跑新方法 | 有代码和日志可看时，LLM 审计器判断数据泄漏的准确率从 55% 提到 90%（每类 20 例，泄漏为人工注入） |
| S4 实验搜索循环 | Claude Code 或 Codex 在隔离环境里跑；harness 只返回验证集分数 | 设预算上限；最多约 7 轮；定期从当前状态分叉出若干全新会话，按验证分选最优继续（fork-and-flush）；所有 run 都记录，包括失败的 | 分叉方式在同等算力下比单线程好 66%；reward hacking 多出现在运行后期（中位数在轨迹的 71% 处） |
| S5 封存测试集上的最终评估 | 人执行 make final-eval |
每个预注册配置只碰一次测试集；多个 seed 并给出置信区间；负面结果照常报告 | Quran 研究；Hidden Pitfalls 中的事后挑选 |
| S6 结论账本 | Claude 起草；Codex 开新会话独立重标；人签字 | 每条结论标为 supported / partial / unsupported / contradicted；没有支撑的移到局限性部分 | Sakana 人工把 “significantly exceeds” 改成 “on par” |
| S7 写作 | Claude Code（表达最好） | 只读 RESULTS、METHOD_SPEC、CLAIMS、PREREG 和锁定的 bib；数字只能来自宏；图由 results.json 生成；证据不全就停 | PaperRecon：概述写详细后幻觉从 9.8 降到 2.3。Co-Scientist：整套可靠性模块（目标函数里的幻觉和抄袭惩罚项，加上对照执行日志的确定性数值核对）去掉后，严重幻觉从 4% 升到 46%；论文没有单独拆出日志对账的贡献 |
| S8 独立诚信审计（不通过就阻断） | Codex 开新会话 + 一个 Claude 子 agent + 确定性脚本 | 在干净 clone 上重跑主结果；检查方法与代码是否一致；检查引用是否存在、上下文是否对得上；扫描运行轨迹，看有没有读过评估器；ISSUES.json 里有未关闭的严重问题时，不允许生成 PDF | 有日志和代码时审计准确率 82%，只看论文时 55%；82.5% 的 agent 发现问题后照样输出 |
| S9 模拟审稿和修改 | 新会话、跨家族审稿；人负责分流 | 执行类意见：回到 S4–S6 补实验，不接受只改文字。idea 类意见：交给人决定。最多 2–3 轮。最终分数由一个从没给过修改建议的审稿人打 | AppliedScientist；ARIS 的 3 分到 8 分案例 |
| S10 人工终审和披露 | 全体作者 | 通读全文；逐个核对主要数字和每条关键引用的原文；写 AI 使用声明；公开代码、日志、预注册和审计材料 | ICLR / ACL / NeurIPS 的政策 |
人力估计
跳转到“人力估计”一节这是估算，没有来源直接测量过。 一篇算力需求不大的实证 ML 论文，大约需要 40–80 小时专注的人工时间，分布在 3–8 周里。
如果只保留 S1、S2、S10 三个关口，可以压到 15–25 小时，但质量可能下降。这方面只有弱证据：AutoResearchClaw 的 HITL 消融（10 个主题，人工干预由脚本模拟，“accept” 指系统自带 LLM 质量门打分 ≥5/10，不是任何会议的接收）中，gate-only 模式为 5/10，co-pilot 模式为 7/10。而且它的 gate-only 三个关口是文献筛选、实验设计和终审，和本文的 S1/S2/S10 并不对应。
API 费用和人力相比可以忽略。