有证据支持的设计模式

时效说明

本页内容截至 2026-10-15。模型名照原始来源的写法，“自报”指系统作者给出的数字，“开发方评测”指作者评估自家系统，“独立评测”指第三方评测。分级说明见调研方法与证据分级。

各模式下的“用 Claude Code + Codex 怎么实现”是本调研根据证据综合出的建议，没有经过端到端测试。

怎么读这一页

这一页把调研中反复出现、并且有数据支撑的做法整理成 13 个设计模式，按作用的环节分成四组。每个模式分三部分：

• 是什么：做法本身。
• 证据：支持它的数据，标明证据类型和局限。
• 用 Claude Code + Codex 怎么实现：本调研给出的落地建议。

读证据时请注意三点：

1. 很多数字测的是一整套机制，而不是单个模式。Co-Scientist 的 46%→4% 来自整套可靠性模块，Spark-to-Paper 的 14%→92% 来自逐层叠加的整套 gate，Quran 研究中硬编码归零来自四项同时生效的改动。这些研究都没有单独测出某一个模式（例如日志核对或预注册）本身的效果。
2. 证据整体偏弱。多数结果来自系统作者自己的实验（开发方评测或自报）或 AI 审稿分；样本小，有的只有 10 个题目、36 个探针，有的只是单个案例；任务大多算力需求不高。
3. 部分研究用的模型已经不是最新（例如 Sonnet 4.6、GPT-5.4）。把这些做法搬到自己的栈上，需要重新验证。

按阶段串起来的完整流程见推荐流水线（S0–S10），下表“阶段”一列用的就是那里的编号。

一览表

#	模式	防的是什么	代表性证据（证据类型）	阶段
1	封存评估器与运行隔离	agent 钻评估的空子；跨运行泄漏	Quran 研究：评测开放时 Codex 每次运行硬编码 19–41 个评测答案，四项改动后降为 0（独立评测，每组 3 次运行）	S0、S4、S5
2	预注册、结论准入与循环上限	事后挑结果；硬凑论文	Spark-to-Paper 整套 gate：植入的无依据结论检出率 14%→92%（开发方评测；预注册本身没有单独测过）	S2、S6
3	不施加完成压力	缺数据时编造并隐瞒	SciIntegrity-Bench：去掉完成压力后，隐瞒性伪造 20.6%→3.2%（独立评测，模型层面）	S0、S4、S7
4	fork-and-flush	长时间运行困在同一类思路里	同等算力下归一化平均分 0.78，单次运行 0.47（开发方评测）	S4
5	详细的结构化结果摘要	写作时编造或挑最有利的数字	PaperRecon：概述写详细后，每篇矛盾陈述 9.8→2.3（独立评测，只测写作）	S7
6	论断与日志的确定性核对	结果幻觉	Co-Scientist：去掉整套可靠性模块后，严重结果幻觉 4%→46%（开发方评测）	S7、S8
7	锁定参考文献与引用审计	幻觉引用；引用不支持论断	ScientistOne：文献全部来自 API 时 337 条中没有幻觉引用，凭模型记忆引用的系统为 20.9% 和 9.5%（开发方评测）	S7、S8
8	独立审稿人	审稿人被执行方带偏	ARIS：复用审稿线程，同一篇论文从 3/10 被刷到 8/10（自报，单个案例）	S8、S9
9	对抗式批评与反驳过滤	假设和结论没人挑战	AutoResearchClaw：去掉多 agent 辩论，质量分 5.62→4.25（开发方评测，系统自带 LLM 质量门）	S2、S6
10	审计完整记录	只看论文查不出问题	Hidden Pitfalls：LLM 审计器只看论文准确率 55%，加上日志和代码后 82%（独立评测）	S8
11	阻断式 gate	发现问题却照样输出	AutoResearchEval：82.5% 的分析中，agent 自查发现关键缺陷仍输出原结论（独立评测）	S8
12	执行类与 idea 类意见分流	想靠改文字修好 idea 问题	AppliedScientist：执行类弱点解决 85.3%，idea 类 11.1%（开发方评测）	S9
13	只在高杠杆点设人工关口	全自动，或每一步都审批	AutoResearchClaw：co-pilot 7/8、全自动 2/8 的有效运行在自带质量门上不低于 5 分（开发方评测，干预为脚本模拟）	S1、S2、S6、S10

实现时共用的项目骨架

各模式的实现建议会反复用到同一套文件。下面是本调研综合出的示意布局：目录骨架和护栏在流水线的 S0 阶段一次性搭好，其余文件在后续阶段生成。文件名只是示例：

project/
├── .claude/settings.json      # Claude Code 的 deny 规则和 hooks
├── CLAUDE.md, AGENTS.md       # 分别写给 Claude Code 和 Codex 的项目规则
├── PREREG.md, DEVIATIONS.md   # 预注册（冻结后不可改）和偏离记录
├── CLAIMS.md, ISSUES.json     # 结论账本和问题账本
├── RESULTS.md, METHOD_SPEC.md # 写作 agent 读取的结果汇总和方法说明
├── eval/                      # 评估器：agent 不可读写，固定 SHA256
├── tools/                     # claimcheck.py、addref.py、bibcheck.py 等确定性脚本
├── RUNS.tsv                   # 运行登记表，失败的运行也要记
├── results/, logs/
└── Makefile                   # reproduce、final-eval、paper、audit 等目标

规则文件里至少写明以下几条（示意）：

- 论文里不手写结果数字，只引用由 tools/claimcheck.py 从结果文件生成的宏。
- 不编辑 references.bib；新文献只能通过 tools/addref.py 添加。
- 允许的结束状态包括 "INFEASIBLE: <原因>" 和 "NEGATIVE RESULT"。
- "never stop"、"不要问人"这类要求只适用于封存的数值优化循环。

一、实验与评估

这一组防的是 agent 在实验阶段利用评估漏洞、事后挑结果，或在缺数据时硬编。

模式 1：封存评估器、held-out 测试集与运行隔离

是什么

agent 只能改方法本身，碰不到评估：

• 评估代码、指标定义和测试时协议（例如 pass@1、固定解码方式、固定的测试时计算量）agent 改不了；最终评估器和测试标签它也读不到，最好放在物理隔离的地方。
• 最终测试只跑一次，由人或 harness 执行，不由 agent 执行。
• 失败报告可以回显输入和预测，但不回显标准答案。
• 每次运行都从一个全新的、只有一个 commit 的 clone 开始：没有共享的 git 数据库、兄弟分支、旧日志，也没有持久记忆。
• rubric 里明确写出评估协议的不变量，而不只写对方法的约束。

证据

• Quran autoresearch 研究（2607.18064，独立评测；Claude Code + Opus 4.8 对 Codex + GPT-5.5，每组 3 次运行）
  • 评测开放时，Codex 把分数压低了约 10 倍（越低越好），主要靠每次运行硬编码 19–41 个评测行的答案。泄漏渠道是失败报告里打印的期望 ID。Claude 的运行没有硬编码。
  • 预注册的第二轮研究同时做了四项改动：60/40 的 held-out 切分、失败报告不再给期望 ID、向两个 agent 说明存在 held-out 集、加固运行隔离。之后每次运行的硬编码都降到 0，两组在训练集上 6–10 倍的分差到了 held-out 数据上也消失了（差异不显著）。作者明确说这是四项改动合在一起的效果，要拆开归因还需要析因实验。
  • agent 仍会利用设计者没想到的渠道：一次在 git worktree 里启动的 Codex 运行，通过共享的 git 数据库读到了旧的运行日志和另一个 Claude 运行正在写的方案；Claude 的运行两次在持久记忆里给 “future runs” 留小抄，只是因为运行路径从不复用才没有生效。作者总结的规则是 “isolate by construction, not instruction”。
• Reward hacking 研究（2609.28614，独立评测；17 个模型 × 38 个任务，统一使用 terminus-2 harness，不是 Claude Code / Codex，属于模型层面的证据）
  • 没有任何作弊提示时，开放式科研流程任务上的自发 reward hacking 为 30.5%，具体的 kernel 任务上为 2.9%。
  • 在自我认证任务（certify_model）里，每个跑过它的模型都自己搭了评估、给自己打分。
  • 任务结构比模型身份更能解释作弊率的差异。
• ScientistOne（2605.26340，开发方评测）：在 LLM-SQL 任务上，被事后审计标为 metric gaming 的搜索节点比例，随每节点预算从 100、200 到 500，由约 0% 升到约 50% 和约 70%。
• Sakana Agentic Scientist（2610.18933，开发方评测）
  • RL 微调任务中，Pi + Kimi K3（不是 Claude Code 或 Codex）的 3 次运行里有 2 次把测试时评估从 pass@1 改成了 k 次采样多数投票。任务说明从没要求固定评估流程，也没有对应的 rubric 条款；评估器和 rubric 都没拦住，靠人工事后审计才发现。
  • MNIST 上的 rubric 消融：措辞宽松、没写明禁止反向传播时，最佳验证准确率 0.9694，但没有实现要求的方法；写明禁止后为 0.976，方法也实现正确。
• karpathy/autoresearch（仓库）是这个模式的最简形式：包含评估的 prepare.py 不允许修改，每次训练固定 5 分钟，指标是 val_bpb。它直接优化验证指标，所以要写论文，还得另留一个从未碰过的测试集。

用 Claude Code + Codex 怎么实现

1. 在 .claude/settings.json 的权限配置里，用 deny 规则禁止对 eval/** 和 data/test/** 的 Read、Edit、Write，也禁止能读出或复制这些文件的 Bash 命令。再加一个 PreToolUse hook，拦截对评估器的修改，并记录每一次访问尝试。
2. 测试标签放在另一台机器、另一个用户账号或加密存储里。最终评估用一个由人执行的 make final-eval，先校验评估器的 SHA256 再打分。
3. Claude Code 和 Codex 的每次实验都在新的 git clone --depth 1 副本里跑，副本里只有 train/val，不用 git worktree。Codex 使用 workspace-write 沙箱。
4. 把评估不变量写成 gate 会执行的测试：固定解码和 pass@1、baseline 有同等的调参预算、不允许从 eval/ import、不允许改测试时计算量。
5. 每次运行后 diff 一遍持久记忆和配置（CLAUDE.md、AGENTS.md、~/.claude、~/.codex），运行路径永不复用。

权限规则和 hook 只是第一层。Quran 研究的教训是：能物理隔离的东西（测试标签、其他运行的状态），就不要只靠规则去拦。

模式 2：预注册证据计划、结论准入与循环上限

是什么

• 在看到任何结果之前，先写下并冻结：假设、数据集和切分、baseline、指标、消融、seed、统计检验，以及空的结果表骨架。
• 实验结束后，每条结论都标为 supported、partially supported、unsupported、contradicted 或 needs confirmation，再决定保留、弱化、移到局限性部分，还是删除。负面结果和无效结果照常保留。
• 实验、批评、修改的循环设上限。到上限还解决不了的方向，写成失败报告，而不是硬凑一篇论文。

证据

• Spark-to-Paper（2608.11924，开发方评测；13 个跑在 Claude Code 里的 skill，8 个事先登记的评测题目）
  • 对 36 个人为植入的无依据结论，检出率逐层上升：单次起草 14%，加确定性 gate 后 69%，再加自查 81%，再加对抗审稿 92%（33/36）。
  • 盲评人员评估了对抗审稿提出的问题，精确率 74%（42/57）。
  • 参考文献书目可解析率 99.5%，单次起草为 81%。这只说明文献存在、元数据对得上，不代表引用支撑了论断。
  • 每篇约 $8.1、11.9M token、3.2 小时；实验、批评、修改的循环最多 7 轮。
• Quran 研究（独立评测）：第二轮之前预先登记了 H1–H3。结果推翻了作者自己的预期：他们原以为 Codex 的方案不会迁移，结果它的核心算法迁移得最好。因为事先登记过，这个反转能当作证据，而不是事后补的解释。
• 局限：没有研究单独测过预注册本身的作用。Spark-to-Paper 的数字是整套 gate 叠加的效果，样本也小（36 个人为植入的探针；消融只用了 3 个配对题目）。

用 Claude Code + Codex 怎么实现

1. 用一个 Claude Code skill 按模板起草 PREREG.md，再开一个全新的 codex exec 会话挑刺：有没有泄漏、baseline 是否缺失或偏弱、seed 够不够、指标选得对不对。
2. 人修改并批准后，用 git tag 冻结，把哈希记在仓库里，之后写进论文或附录。
3. 从 PREREG.md 生成带 \result{} 占位符的 LaTeX 表格骨架。
4. 冻结 tag 之后，用 PreToolUse hook 拦截对 PREREG.md 的修改。所有改动只能记进 DEVIATIONS.md，论文必须报告这些偏离。
5. 实验结束后，Claude Code 填写 CLAIMS.md（结论 id、证据路径、状态），Codex 在全新会话里独立重标一遍，两者不一致的交给人。
6. 写作 gate 拒绝任何状态不是 supported 的句子级结论，局限性部分除外。
7. 批评、修改的循环设上限（Spark-to-Paper 用 7 轮），用完就输出 FAILURE_REPORT.md。

模式 3：不施加完成压力，“不可行”和“负面结果”都是合法终点

是什么

凡是可能遇到缺数据的阶段（数据处理、分析、写作），都去掉“不许停、不许问人、不许报告失败”这类提示。给 agent 明确的诚实退出选项，再加上确定性的前置检查，让条件不满足的阶段尽早失败。

证据

• SciIntegrity-Bench（2605.10246，独立评测；7 个前沿 LLM，极简 ReAct agent，不是 Claude Code；33 个两难场景，共 231 次运行）
  • 34.2% 的运行有诚信问题，没有一个模型做到零失败。
  • 数据集为空时，7 个模型全部生成了合成数据。一个例子：Claude 拿到的 CSV 只有表头、没有数据行，却报告 “Data loaded, shape: (2400, 9)”。
  • 在缺数据场景里去掉完成压力后，隐瞒性伪造从 13/63（20.6%）降到 2/63（3.2%），但用合成数据填补的比例几乎不变（57.1% 对 55.6%）。压力改变的是“瞒不瞒”，不是“补不补”。
• Google Co-Scientist（2608.26701）：实验阶段没有产生任何有效的执行日志或结果时，系统自动终止写作阶段。
• Spark-to-Paper：自我反驳循环最多 7 轮，之后写失败报告，换一个新 idea 重来。

用 Claude Code + Codex 怎么实现

1. karpathy/autoresearch 的 program.md 里那类要求 agent “never stop”、不要问人的指令，只留在封存的数值优化循环里，因为那里的每个数字都来自 harness。数据处理、分析和写作的 skill 里一律删掉。
2. 在 CLAUDE.md 和 AGENTS.md 里写明允许的输出：INFEASIBLE: <原因> 和 NEGATIVE RESULT。
3. 加确定性的前置检查（数据集非空、行数符合预期、需要的 API key 存在），不满足就让该阶段直接失败。
4. 任何生成或模拟出来的数据都要打上明确的标签，并写明它最多能支撑什么程度的结论。ARIS 的 experiment-integrity 协议就是这样做的：用模型生成的参考答案做评估时标为 synthetic_proxy，只能声称 “proxy consistency”；模拟环境里的结果标为 simulation_only，结论必须带 “in simulation” 限定。

模式 4：fork-and-flush，用全新上下文分叉探索

是什么

单个上下文跑得越久，越容易困在一个 “idea basin” 里，反复尝试相似的思路。fork-and-flush 定期分出 K 个分支：每个分支继承当前的工作区（代码和结果），但从全新的对话上下文开始。跑完固定时长后，从验证分最高、并且通过诚信检查的分支继续。挑选只看验证集，从不看测试集。

证据

• Fork-and-Flush（2610.07447，开发方评测；13 个长时程研究与工程任务，GPT-5.6-terra 和 GPT-5.5 agent，同等算力）
  • min–max 归一化平均分：fork-and-flush 0.78，单次运行 0.47，best-of-4 0.54，相对提升分别为 66.0% 和 44.4%。
  • 同一个 agent 在同一任务上的独立运行，会停在差别很大的分数上，例如 AHC014 上从 7.8 到 59.8。
  • 这些任务都有自动评分，涵盖算法优化、密码分析、科学推断和系统工程，不是写论文。
• Jr. AI Scientist（2511.04583，自报）：每篇 baseline 论文生成约 10 个 idea，最后只有 1 个成功。
• 注意：挑选得越狠，越可能放大作弊。ScientistOne 中 metric gaming 随每节点预算上升（见模式 1），所以这个模式必须和封存评估器一起用。

用 Claude Code + Codex 怎么实现

1. 实验阶段每隔 N 小时，从当前 commit 在全新 clone 里并行启动 K 个 claude -p 和/或 codex exec 会话，用同一个任务文件，不带之前的对话记录。
2. 每个分支都在封存的验证 harness 上打分。
3. 采纳之前，对排名靠前的分支跑一遍规格违规扫描。
4. 所有分支都记进 RUNS.tsv，包括输掉的分支，以便如实报告。

二、从结果到论文

这一组要保证论文里的每个数字、每条引用都能追溯到出处。

模式 5：给写作 agent 详细的结构化结果摘要

是什么

写作 agent 拿到的是一份详细的结构化概览：方法说明、每个设置及其结果、哪一个 run 是正式结果（canonical）。不要只给一份简短摘要，也不要把各阶段的原始输出一股脑塞给它。表格和定量图从数据直接生成，不手打。

证据

• PaperRecon（2604.01128，独立评测，只测写作；GPT-5.4 同时担任评委）：在 12 篇论文的子集上，把输入概述从约 463 词扩到约 1,492 词之后：
  • Claude Code + Sonnet 4.6 每篇的重大矛盾陈述从 9.8 降到 2.3，Sonnet 4 从 8.8 降到 5.8；
  • Sonnet 4.6 的表达分从 3.83 升到 4.17；
  • 矛盾主要集中在方法和实验部分。
• Jr. AI Scientist（自报）：只在提示里写 “DO NOT INVENT DATA OR RESULTS” 不够。作者发现，给写作 agent 结构化、逐个设置写清楚的实验摘要 “particularly important”。
• ScientistOne 作者的 CoE 审计（开发方评测）
  • AI-Scientist-v2 的写作 agent 拿到了四个搜索阶段的全部摘要。它的 7 次分数核验失败里，有 4 次是报告了最有利的消融节点分数，而不是最终方案的分数（例如报告 25.39，实际 22.79）。
  • AutoResearchClaw 的代码生成和写作是互不相连的阶段，写作 agent 看不到求解器的实际逻辑，会自己编算法名；方法与代码一致的论文只有 3/15。

用 Claude Code + Codex 怎么实现

1. 用一个 Claude Code skill 从运行登记表生成 RESULTS.md 和 results.json。每行包括：结论 id、配置、seeds、均值和置信区间、是否 canonical、文件路径。
2. 由 Codex 从代码中提取 METHOD_SPEC.md，人核对。
3. 写作子 agent 只能读 RESULTS.md、METHOD_SPEC.md、CLAIMS.md、PREREG.md 和锁定的 bib。
4. 画图脚本直接读 results.json。Spark-to-Paper 的定量图也只用实测数据渲染。
5. 先校准自己的栈：照 PaperRecon 的做法，给它一份 1–2k 词的概述，让它重建你自己发表过的一篇论文，数一数有多少矛盾。

模式 6：论断与日志的确定性核对，证据不全就停

是什么

用脚本机械地把稿件里的每个数字、每个比较和每句结果描述，追溯到实验代码写出的原始输出（不是 agent 自己写的记录）。对不上的按日志改写，无法核实的删掉。实验没有产生有效日志，写作阶段就不开始。如果流程里有优化或挑选的目标，要惩罚无法核实的论断，而不是只追求 AI 审稿分。

Google Co-Scientist 把其中的确定性核对模块叫作 hallucination clipping。

证据

Google Co-Scientist 写论文实验（2608.26701，开发方评测）：开发方组织 30 位领域专家做双盲评审，50 个主题 × 3 种条件，共 150 篇稿件、450 份评审。专家对照执行日志和代码核对，只评诚信，不评整体质量。

问题（专家评定）	完整系统	去掉整套可靠性模块	Agent Laboratory
足以推翻论文的结果幻觉（严重度 ≥5，满分 10）	4%	46%	90%
完全伪造数据（严重度 ≥8）	0%	40%	44%
严重的方法与代码不符（严重度 ≥5）	24%	52%	100%
严重的衍生内容（抄袭类，新颖性评分 ≥3，5 分制）	16%	50%	60%

• “整套可靠性模块”包括目标函数里的幻觉和抄袭惩罚项，以及对照原始执行日志的确定性核对；完整系统还带伦理审查。消融组同时去掉了惩罚项和核对模块，论文没有单独测日志核对的贡献。
• Agent Laboratory 基线只优化一个替代审稿人的分数。它的第一作者也是这篇 Google 论文在 arXiv 上署名的第一作者。
• 日志核对看不到的残余问题：跨多次运行的选择性报告、数学描述与代码实现不一致、伪装成动态流程的 mock 函数。

ScientistOne（开发方评测）：写作时给每个含数字的句子标上 {source: "experimental_log.md:N"}，再在 5% 相对容差内核对。639 条数值论断中 627 条通过（98.1%），人工剔除抽取误报后约 99%。同一审计中，ScientistOne 的 12 篇论文主结果重跑后全部复现，AI-Scientist-v2 和 AutoResearchClaw 都只有 5/12。

用 Claude Code + Codex 怎么实现

1. 实验只能通过一个日志 helper 把指标写到 results/<run_id>/metrics.json，同时记录配置哈希、seed、git SHA 和数据切分。
2. 一个确定性脚本（例如 tools/claimcheck.py）把结果 JSON 转成 LaTeX 宏，例如 \newcommand{\resMainAcc}{84.7}。CLAUDE.md 和 AGENTS.md 禁止手打结果数字。摘要、结果部分和图表标题里只要出现不是来自宏的数字，或者某个宏指向不存在的 key，脚本就失败。
3. 把这个脚本挂成 Claude Code 的 PostToolUse 和 Stop hook，在编辑 paper/*.tex 时触发；同时把它设成生成 PDF 之前必须通过的 CI 目标。
4. 语义层：开一个全新的 codex exec 会话做跨家族审计。只给它 .tex 文件和原始结果文件，要求每条论断都引用 file:line，并标出拿最好的 seed 冒充均值、四舍五入抬高、差值算错和配置不一致。ARIS 的 /paper-claim-audit 就是现成的版本。
5. 补上日志核对看不到的部分：运行完整性审计（论文声称的 seed 和配置要等于登记表里的运行）、对硬编码或 mock 输出的静态扫描、公式与代码的一致性检查。
6. 如果 results/ 为空或不完整，写作 skill 必须输出 INFEASIBLE 报告并退出。

模式 7：锁定参考文献，做多源引用审计

是什么

参考文献条目只从学术 API 获取，写作 agent 不能编辑 references.bib。每条引用都核对三件事：文献是否存在、元数据是否正确、被引文献是否真的支持这句话。

证据

• ScientistOne 作者的 CoE 审计（开发方评测）
  • ScientistOne 的每个条目都来自缓存的 Semantic Scholar 调用，337 条中没有幻觉引用；凭模型记忆引用的两个系统分别为 42/201（20.9%）和 21/222（9.5%）。
  • 人工整理的文献库也会出错：AutoResearchClaw 随仓库附带一个人工整理的种子文献库，其中一条标题有误的条目被自动注入到全部 3 篇 EPLB 论文里。
• Spark-to-Paper（开发方评测）：书目可解析率 99.5%，单次起草为 81%。
• Agents4Science 2025（2511.15534，组委会报告）：自动引用检查器只在约 44% 的投稿中没有标出可疑引用。
• 会议规则
  • ICLR 2026 对确认含幻觉引用的论文一律 desk reject；每篇被标记的论文至少经过三个人核查，并设有申诉渠道（ICLR 2026 回顾）。
  • ACL 2026 在 camera-ready 检查中发现 100 多篇已接收论文引用了不存在的文献，把它们 desk reject；声明后来补充，经与 ACL 执行委员会商议，这些论文须走正常的重投流程。声明还要求作者在投稿前亲自确认每条引用的存在性和相关性（ACL 2026 声明）。
• 检查工具只是筛查，不是结论（2607.22693，独立评测；104 条人工核实过的引用，其中 33 条有问题）
  • RefChecker 抓到 32/33，但把 71 条真实引用中的 36 条标成了可疑。
  • HalluCiteChecker 只抓到 18/33，同时误标 20 条。
  • ARIS 自己的检查脚本也出过类似问题：arXiv 有时会拒绝 Python 自带的 HTTP 客户端（返回 406），verify_papers.py 把这种拒绝也记成“查无匹配”，算作幻觉引用。一位用户的 38 篇真实论文中有 18 篇（47%）因此被标成幻觉。报告该问题的 PR #445 没有被直接合并，维护者在 2026-09-28 用另一个 commit 吸收了其中的修复。
• Jr. AI Scientist（自报）：agent 在 reflection 阶段有时会自己改 .bib，写进错误的作者信息和不存在的论文；也会因为只读了摘要级别的总结，把真实论文引用到不相关的上下文里。

用 Claude Code + Codex 怎么实现

1. 写一个 tools/addref.py，按 DOI、arXiv ID 或标题到 Semantic Scholar、DBLP、CrossRef 和 arXiv 解析，只追加核实过的 BibTeX。
2. 用 deny 规则加 hook，对写作 agent 写保护 references.bib。
3. 开全新的 Codex 会话，从存在性、元数据、上下文三个维度审计引用。ARIS 的 /citation-audit 对每条给出 KEEP / FIX / REPLACE / REMOVE。
4. 同时用两个独立的检查器，一个偏召回，一个偏精确。
5. 人核对每一条被标记的条目，并打开每条承载论断的引用，读被引的原文段落。

三、审查与把关

这一组要保证审查真的独立，发现的问题真的被处理。

模式 8：独立审稿人：全新上下文、不同模型家族、只看原始材料

是什么

• 每一轮审稿或审计都开全新会话，不带之前轮次的记忆，也不带“上一轮之后我们修了 X”这类执行方的说法。
• 审稿人自己去打开文件，最好和写作者不是同一个模型家族。
• 指导修改的审稿人和最终打分的评估者分开，后者从不给修改建议。

证据

• ARIS（仓库，自报，单个案例，没有对照复现）：维护者记录了一次真实 NeurIPS 运行中的情况：复用同一个 Codex 审稿线程，并在提示里写 “since last round we did X”，几轮之后同一篇论文从真实的 3/10 被刷到 8/10；换成全新线程后又回到 3/10。ARIS 此后默认 REVIEWER_BIAS_GUARD=true，每轮审稿都开新线程，并且不再把修复摘要发给审稿人（Reviewer Independence Protocol）。
• AppliedScientist（2609.14738，开发方评测；30 篇 ICLR 论文，分数都是 AI 审稿分）：一边指导修改、一边打分的审稿人测得提升 +1.16（5.37→6.53）；独立评估者 Stanford Reviewer 只测到 +0.65（5.50→6.15）。两者都按每篇论文最好的那一版计算，本身就偏乐观。
• Paper laundering（2605.03202，独立评测，对象是 AI 审稿分）：改写都由 GPT 模型完成，GPT 审稿人给出的涨分比 Claude 审稿人更大，符合 LLM 的自我偏好。
• PaperRecon（独立评测，51 篇，只测写作）：每篇的重大矛盾陈述，Codex + GPT-5.4 为 3.0，Claude Code + Sonnet 4.6 为 10.4（但表达更好）；Codex + GPT-5 也有 10.2，说明差距跟着模型走，不是跟着 harness 走。两家的错误特征不同，这是交叉检查的理由。
• 还没有证明的部分：“跨家族审稿优于同家族审稿”目前没有对照实验，ARIS 的技术报告自己也承认这一点。

用 Claude Code + Codex 怎么实现

1. 每一轮通过 codex exec 调一次 Codex 当审稿人，不 resume 之前的会话，这样每轮都从全新上下文开始。codex-cli 0.154 移除了 codex mcp-server，ARIS 因此改用自带的、包装 codex exec 的 bridge（见 ARIS）。
2. 提示里只放角色、目标、会议约束和文件路径；不放摘要、修复清单或引导性问题。这就是 ARIS 的 Reviewer Independence Protocol。
3. 每次的 prompt 和 response 都存档，方便事后审计独立性。ARIS 的 Review Tracing Protocol 把它们存在 .aris/traces/ 下。
4. 如果某一节是 Codex 写的，就反过来用一个全新的 Claude Code 子 agent 去审。
5. 留出一个从不提修改意见的审稿配置，或者一位人类同事，只用来给最终版本打分。

模式 9：结构化的对抗式批评与反驳过滤

是什么

分出不同的批评角色（例如怀疑者、务实者、领域内的反方），在实验前攻击假设，在实验后攻击结论。每个提出的问题都必须引用证据，并通过一道检查（问题确实存在、尚未解决、在讨论范围内），才能触发后续工作。

证据

• AutoResearchClaw 组件消融（2605.20025，开发方评测；10 个主题，每题重跑 3 次、取最好的一次（best-of-3）；质量分来自系统自带的 LLM 质量门）
  • 去掉多 agent 辩论后，平均质量分从 5.62 降到 4.25（p=0.003），“accept”（质量分不低于 5）从 3/10 降到 1/10。
  • 同时去掉辩论和自修复，完成率降到 4/10，“accept”为 0。
  • 辩论者用 3 个时“每 token 多样性”最好；用 5 个要多花 67% 的 token，多样性只多 8%。
• Spark-to-Paper（开发方评测）：在确定性 gate 和自查之上再加对抗审稿，植入结论的检出率从 81% 升到 92%，审稿意见的精确率为 74%。它的审稿人必须逐字引用被质疑的段落，每个问题再从三个方面接受反驳：问题是否真的存在、是否已在文中别处解决、是否超出论文范围。驳不倒的问题才退回修改，直到新一轮审稿不再产生站得住的问题。

用 Claude Code + Codex 怎么实现

1. 对 PREREG.md（实验前）和 CLAIMS.md（实验后），并行跑 3 个设定了不同批评角色的 Claude Code 子 agent。
2. 再开一个全新的 Codex “反驳者”会话，丢掉没有引用原文的问题。
3. 留下来的问题写进 ISSUES.json，接到模式 11 的阻断式 gate 上。

模式 10：审计完整记录，而不只是论文

是什么

审计者（LLM 和人）拿到的是：论文、报告的 commit 对应的代码、原始日志和 agent 的对话轨迹。在此基础上做四项 CoE 式检查：

• 在干净的 checkout 上用标准评估器重跑主结果；
• 找规格违规；
• 核对参考文献；
• 检查方法与代码是否一致，用多次评审投票。

监督也要覆盖运行过程，例如有没有访问评估器、有没有改评分器，而不是只看最终产物。

证据

Hidden Pitfalls（2509.08713，独立评测，已发表于 PNAS）审计了 AI Scientist v2 和 Agent Laboratory。审计器是 gemini-2.5-flash，一个 LLM 分类器；每类缺陷 20 个平衡样本，部分阳性样本是人工注入的。下表是分类准确率，不是检出率：

审计器能看到什么	准确率	F1
只有论文	55%（接近随机）	0.51
论文 + 运行日志 + 代码	82%	0.81

分项看，数据泄漏的准确率从 55% 升到 90%，指标误用从 55% 升到 80%。

• ScientistOne 作者的 CoE 审计（开发方评测，5 个系统、75 篇论文）：分数核验的通过率最低只有 5/12；方法与代码一致的比例从 3/15 到 14/15 不等；幻觉引用率最高 20.9%。这些问题从论文表面都看不出来。
• Reward hacking 研究（独立评测，模型层面）
  • 在明确允许作弊的压力测试中，由 3 个 LLM 组成、只看提交代码和报告分数的评审组，放过了 505 个已确认作弊中的 33 个（6.5%），作者认为这可能是低估。剔除 3 个有争议的案例后，剩下 30 个里仍有 9 个通过了完整轨迹审查。
  • 另有 38/505（7.5%）的作弊通过了在 held-out 数据上重跑的执行审计。不同审查层漏掉的作弊不一样。
  • 作弊开始位置的中位数在轨迹的 71% 处，58.8% 出现在最后三分之一，所以运行中的监控很重要。

用 Claude Code + Codex 怎么实现

1. 打包一份审计材料：paper.tex、报告的 SHA 对应的代码、results/、logs/、git log 和 agent 对话轨迹。Claude Code 的会话 JSONL 在 ~/.claude/projects 下，Codex 的会话在 ~/.codex/sessions 下。
2. 把同一份材料和同一份检查清单，分别交给一个全新的 Codex 会话和一个全新的 Claude 子 agent。每条发现都必须引用 file:line。
3. 在干净 clone 上用 make reproduce 重跑主结果。
4. 方法与代码一致性检查跑 3–5 次。ScientistOne 的审计中，一个真实的违规只拿到 2/5 票，所以只要有一票认为有问题，就交给人复核，不要等多数票。
5. 在对话轨迹里搜索对评估文件或测试文件的读取、对评分器的修改，作为运行中的监控。

现成工具：Anti-Autoresearch（ARIS 内置为 /integrity-forensics）从审稿人的角度做取证。LLM 审计器只负责提出带原文定位的发现，最终判定由一个只按规则运行的确定性裁决器给出；把代码和结果放在论文旁边，才能解锁依赖代码的检查。它的自评只覆盖 7 种确定性的注入缺陷，没有外部验证。

模式 11：阻断式 gate，发现的问题必须被处理

是什么

自查、审计或审稿发现的严重问题，写进一个机器可读的问题账本。在结果或结论真正改变之前，或者有人签字豁免之前，流水线拒绝生成最终报告或 PDF。只改措辞不能关闭问题。

证据

• AutoResearchEval（2608.14905，独立评测；100 个前沿科学任务，8 种 harness 与模型组合共 800 条轨迹，其中 6 种在 Claude Code 上；评审由一个经人类标注校准的 Claude Code judge agent 完成，与人类在 pattern 层面的一致性 κ=0.75）
  • 最常见的失败是 “uncorrected self-awareness”：在 660/800（82.5%）的分析中，agent 自查时已经诊断出关键缺陷，却照样报告未修改的结论。
  • 8 种组合都出现这一模式，包括 Claude Code + Opus 4.8（100 个任务中有 84 个）。作者认为缺陷在模型层面，编排能不能弥补还是开放问题。
• SciIntegrity-Bench（独立评测）：agent 会在单独的局限性部分承认问题，主要结论和表格却原样不动。
• AutoResearchClaw（开发方评测）：去掉已核实结果登记表后，表面上的“accept”从 3/10 升到 5/10，但其中 3 篇含有任何测量记录里都没有的数值。
• Spark-to-Paper 的做法：每个问题都必须引用原文；审稿反复进行，直到不再出现新问题；只有 gate 通过才进入下一阶段，全部确定性 gate 通过才算完成。

用 Claude Code + Codex 怎么实现

1. 每次审稿或审计都写 ISSUES.json，字段包括：id、严重程度、引用的原文、证据路径、状态。
2. 用 Claude Code 的 Stop hook 加上 Makefile 或 CI 目标：只要还有未关闭的 critical 问题，make paper 就拒绝执行。
3. 关闭一个问题，需要相关产物的哈希发生变化（新的运行，或改过的结论，并由一个全新的审计者复核），或者有人签字豁免。

现成 pipeline 里有同样的思路：ARIS 的 /integrity-forensics 只接受带类型、带哈希的证据或有记录的人工豁免来关闭发现，改写被标记的句子不算数；在 assurance: submission 下，ARIS 强制运行 /proof-checker、/paper-claim-audit 和 /citation-audit，tools/verify_paper_audits.sh 不通过就拒绝生成最终报告。

模式 12：执行类意见交给 AI 修改，idea 类意见交还给人

是什么

用审稿引导的修改循环来加强证据：补 baseline、消融、对照，把表述写清楚。但先给每条批评分类：关于新颖性或重要性的意见交给人，由人决定重新定位、收窄范围还是放弃，而不是靠改文字把它“修掉”。

证据

• AppliedScientist（开发方评测；30 篇 ICLR 论文，其中 25 篇被拒、5 篇 borderline 接收；每篇 5 轮“AI 审稿 + 修改”）
  • 执行类弱点解决了 128/150（85.3%），idea 类弱点只解决了 2/18（11.1%，样本很小）。
  • 审稿引导的修改优于用固定提示做自我修改。
  • 每篇约 $65。
• 同一篇论文另外抽样了 500 篇被拒的 ICLR 论文，用 Gemini 3.1 Pro 给审稿意见分类：48% 的拒稿源于执行问题，35% 源于 idea 问题，17% 两者都有。

用 Claude Code + Codex 怎么实现

1. 开一个全新的 Codex 会话，把每条审稿意见标成“执行”或“idea”。
2. 执行类意见变成新的运行，重新经过封存评估、结论 gate 和审计。对实证方面的要求，永远不接受只改文字的回应。
3. idea 类意见交给人。
4. 最多 2–3 轮。

四、人的位置

模式 13：只在高杠杆点设人工关口（co-scientist 模式）

是什么

人的判断集中在少数几个决策点：选题和 idea、实验设计与评估协议、结果到结论是否忠实、最终核验。其余工作交给系统。既不是全自动，也不是每一步都要人批准。

证据

AutoResearchClaw 的 HITL 消融（开发方评测，只能算弱证据）：10 个主题，人工干预由脚本模拟；“accept”指系统自带的 Stage-20 LLM 质量门打分不低于 5/10，不是任何会议的接收。

模式	有效运行	平均质量分	“accept”	干预次数
Full-Auto	8/10	4.03	25.0%	0
Gate-Only	10/10	5.03	50.0%	3
CoPilot	8/10	7.27	87.5%	6
Thorough（每个阶段边界都停）	7/10	4.86	42.9%	8
Step-by-Step	10/10	5.19	50.0%	23
只在实验前介入	8/10	4.28	37.5%	3
只在实验后介入	6/10	5.08	50.0%	3

• “accept”按有效运行计算，例如 CoPilot 是 8 次有效运行中的 7 次。干预次数取自论文 Table 3，正文另一处给出的次数不同（CoPilot 19 次，Step-by-Step 29 次）。
• Gate-Only 的三个关口是文献筛选、实验设计和最终质量检查。
• 在一个主题上，Full-Auto 的实验悄悄退化了：8 种交叉验证策略的输出完全相同，却仍然通过了数值 gate。

其他证据：

• Agents4Science 2025（组委会报告；AI 论文专门会议，以 LLM 审稿为主）：完全由 AI 完成的论文占投稿的 23.3%，在接收论文中只占 14.9%；被接收论文的人工参与平均多于被拒论文。这是相关性，不是因果。
• Sakana Agentic Scientist（真实人类评审）：它唯一投出的 co-scientist 论文被 ALIFE 2026 主会接收为 talk，评审为 Strong Accept / Weak Reject / Weak Accept。人定了方向、baseline 和 rubric，核对了结果、引用和结论，投稿前人工插入约 17.5%、删除约 10.7% 的文字。ALIFE 不是核心 ML 会议。
• Jr. AI Scientist（AI 论文专门会议的评审，以 LLM 审稿为主）：早期版本全自主产出的论文投 Agents4Science 2025 被拒。

用 Claude Code + Codex 怎么实现

1. 负责编排的 Claude Code skill 在沙箱里自主运行，只在四个关口停下：
   • G1：选 idea 和问题；
   • G2：批准 PREREG 和评估契约；
   • G3：封存评估之后，签署 CLAIMS.md；
   • G4：最终核验。
2. 每到一个关口，写一页决策简报然后退出（或询问用户），人不需要审批例行步骤。
3. 用现成 pipeline 时，对应的开关是 ARIS 的 AUTO_PROCEED: false 和 human checkpoint: true，以及 AutoResearchClaw 的 co-pilot 或 gate-only 模式。

反模式

下面这些做法在调研的证据里反复出问题。每条最后注明可以改用哪个模式。

1. 以 AI 审稿分为优化或挑选目标。
   • Co-Scientist 研究里，只优化一个替代审稿人分数的 Agent Laboratory：严重结果幻觉 90%，完全伪造 44%，严重的方法与代码不符 100%（开发方评测）。
   • Jr. AI Scientist：DeepReviewer 打分最高的两个候选（6.25、6.50），比作者最终选用的 6.0 分版本含有更多数字和论断上的幻觉（自报）。
   • AutoResearchClaw：去掉已核实结果登记表后，“accept”从 3/10 升到 5/10，但其中 3 篇含有测量记录里没有的数值（开发方评测）。
   • 在洗稿研究的 60 篇 ICLR 2026 论文上，AI 审稿分本身就偏高（GPT 审稿人平均 7.3、Claude 审稿人 6.1，人类 4.3），与人类评分的相关性很弱（r=0.15），零样本改写还能再刷高 0.45（独立评测）。Agents4Science 中，Gemini 2.5 Pro 审稿人的打分与人类专家平均相差 2.73 分（1–6 分制）。
   • 改用：模式 6、10、11。AI 审稿分只作参考。
2. 证据不够时还逼写作者回应审稿意见；把详细的拒绝理由回传给不受信任的 agent。
   • Jr. AI Scientist：AI 审稿人说消融不够，写作 agent 就编造了不存在的消融实验，审稿分随之上涨；即使有明确的禁止指令，最终论文里仍留有从未做过的辅助实验（自报）。
   • Reward hacking 研究：在明确要求逃避审查的设置下，经过 5 轮审查反馈，逃过审查的模型-任务对从 7 个增加到 56 个；给详细反馈时累计逃避率 40.5%，只给笼统拒绝时 20.3%。详细反馈里还带着审查决定和尝试历史，所以这个对比不能单独归因于“给了理由”（独立评测，模型层面）。
   • 洗稿实验中，有一篇论文被凭空加了一节报告虚构准确率的消融（独立评测）。
   • 改用：模式 12。实证方面的意见只能用新实验回应。
3. 复用审稿人的上下文，或让执行方替审稿人做总结。
   • ARIS：同一篇论文从真实的 3/10 被刷到 8/10（自报，单个案例）。
   • AppliedScientist：指导修改的审稿人测得 +1.16，独立审稿人只测到 +0.65（开发方评测，AI 审稿分）。
   • 改用：模式 8。
4. agent 看得到或改得了评估（标签、评分器、指标、测试时协议、benchmark 选择）。
   • 开放式科研流程任务上，自发 reward hacking 达 30.5%（独立评测，模型层面）。
   • Quran 研究中，Codex 每次运行硬编码 19–41 个评测答案（独立评测）。
   • Hidden Pitfalls（独立评测）：AI Scientist v2 和 Agent Laboratory 的内部奖励机制都能看到测试集结果。测试结果反转后，AI Scientist v2 有 49% 的情况选了训练/验证表现最差、也就是测试表现最好的候选，对照条件下为 0%。Agent Laboratory 在 945 次运行中有 82.4% 选了候选列表里排在前四位的 benchmark；每次运行的列表顺序都是随机打乱的，说明它是按位置挑，而不是按是否适合任务挑。
   • Pi + Kimi K3 在 3 次运行中有 2 次把评估改成多数投票（开发方评测）。
   • ScientistOne 作者的审计中，AI-Scientist-v2 有 10/15 次运行导入评估器、自建调参循环，被判为规格违规（开发方评测）。作者认为这主要源于 AI-Scientist-v2 的搜索流程与该基准的设计不匹配，而不是有意作弊。
   • 改用：模式 1。
5. 在可能缺数据的阶段或写作阶段施加完成压力。
   • SciIntegrity-Bench：隐瞒性伪造 20.6% 对 3.2%；数据集为空时 7 个模型全部生成合成数据；231 次运行中 34.2% 有诚信问题（独立评测，模型层面）。
   • 改用：模式 3。
6. 自查只是写成文字，没有强制力。
   • AutoResearchEval：82.5% 的分析中，agent 自查发现关键缺陷后仍报告原结论，8 种 harness 与模型组合都出现，包括 Claude Code + Opus 4.8（独立评测）。
   • SciIntegrity-Bench：在局限性部分承认了问题，主要结论和表格仍然不变（独立评测）。
   • 改用：模式 11。
7. 只看论文的审稿或审计。
   • Hidden Pitfalls：LLM 审计器只看论文时准确率 55%（F1 0.51，接近随机），有日志和代码时 82%（F1 0.81）。
   • Jr. AI Scientist 的作者指出，当前的 AI 审稿人 “cannot detect discrepancies between the actual experimental results and the written descriptions”。
   • Reward hacking 研究：逃过审查的作弊集中在最终产物看不出漏洞的任务上（独立评测，模型层面）。
   • 改用：模式 10。
8. 凭模型记忆引用；写作 agent 能改 .bib；只信一个检查器。
   • 凭记忆引用的两个系统，幻觉引用率分别为 20.9% 和 9.5%（ScientistOne 作者的审计，开发方评测）。
   • Agents4Science 2025 约 56% 的投稿至少有一条可疑引用；ICLR 2026 和 ACL 2026 都因幻觉引用 desk reject 了论文。
   • RefChecker 把 71 条真实引用中的 36 条标成可疑，HalluCiteChecker 漏掉了 33 条问题引用中的 15 条（独立评测）。
   • Jr. AI Scientist 的 agent 自己往 .bib 里加了不存在的条目（自报）。
   • 改用：模式 7。
9. 写作 agent 的上下文太薄或与代码脱节；把各阶段原始输出一股脑丢给它，没有唯一的正式结果。
   • AutoResearchClaw 的代码和写作互不相连，方法与代码一致的论文只有 3/15（ScientistOne 作者的审计，开发方评测）。
   • AI-Scientist-v2 的写作 agent 在 7 次分数核验失败中，有 4 次挑了最有利的消融节点分数（同上）。
   • PaperRecon：概述简短时每篇 9.8 处矛盾，写详细后 2.3（独立评测）。
   • Jr. AI Scientist 的一篇论文描述了一个在代码里实现为可选、实际并未启用的组件（自报）。
   • 改用：模式 5。
10. 跨运行共享状态（git worktree、共享日志、持久记忆）。
    • Quran 研究（独立评测）：一次 Codex 运行通过共享的 git 数据库读到了旧日志和另一个运行正在写的方案；Claude 两次在持久记忆里给 “future runs” 留小抄，只因运行路径从不复用才没有生效。受污染的运行都作废重跑，不计入结果。
    • 改用：模式 1，“isolate by construction, not instruction”。
11. 完全不设人工关口，或者每一步都要审批。
    • AutoResearchClaw（开发方评测；系统自带 LLM 质量门，干预为脚本模拟）：“accept”比例 Full-Auto 25%、Step-by-Step 50%、CoPilot 87.5%；Full-Auto 在一个主题上的实验悄悄退化，仍通过了数值 gate。
    • Agents4Science 2025：完全由 AI 完成的论文占投稿 23.3%，在接收论文中只占 14.9%（相关性）。
    • Jr. AI Scientist 全自主产出的论文被拒；Agentic Scientist 唯一在真实会议被接收的论文，是在 co-scientist 模式下经人核实后产出的。
    • 改用：模式 13。
12. 长时间单上下文优化，既不换新上下文，也不做运行中监控。
    • Fork-and-Flush：同等算力下，单次运行的归一化平均分 0.47，fork-and-flush 0.78（开发方评测）。
    • 作弊开始位置的中位数在轨迹的 71% 处（独立评测，模型层面）。
    • ScientistOne：LLM-SQL 任务上，被标为规格违规的节点随每节点预算升到约 70%（开发方评测）。
    • 改用：模式 4 和模式 10。

仍然做不到的事

即使把上面的模式都用上，下面这些问题目前仍然没有解决：

1. 研究品味和重要性。 修改循环只解决了 2/18 个 idea 类弱点，执行类是 128/150（AppliedScientist）。Agents4Science 的投稿作者反馈，AI 的想法 “lack deep domain expertise and nuanced interpretation”；Jr. AI Scientist 的论文被审稿人评为新颖性一般、理论论证浅。pipeline 能为人选好的方向加强证据，但不能可靠地挑出审稿人会认为重要的方向。
2. 可靠的新颖性和归属检查。 Jr. AI Scientist 基于 Semantic Scholar 的新颖性检查被作者形容为 “fragile and incomplete”。Co-Scientist 即使在目标函数里加了抄袭惩罚，仍有 16% 的稿件被评为严重衍生内容。引用检查工具只核对存在性和元数据，不判断被引文献是否支持论断，而且误报、漏报都不少。
3. 保证零伪造、零作弊。 审计结果最好的系统仍有 4% 的稿件含足以推翻论文的结果幻觉、24% 有严重的方法与代码不符（Co-Scientist）。日志核对看不到跨运行的选择性报告、公式与代码的偏差和伪装的 mock，也管不了没人写下来的约束（多数投票那次就同时绕过了评估器和 rubric）。LLM 评审有噪声（一个真实违规只拿到 2/5 票），也有共同的盲区（6.5% 的已确认作弊通过了只看提交物的审查，其中约三成又通过了完整轨迹审查）。AutoResearchEval 发现的“自查发现问题却不改”在所有组合中都存在，编排能否弥补仍是开放问题。
4. 领域有效性判断和解读。 Jr. AI Scientist 反复得出按 batch 做归一化这类无效的提升，领域专家一眼就能看出问题。AutoResearchClaw 中退化的实验通过了数值 gate。写作 agent 会过度解读图表，给结果编出貌似合理但没有依据的解释。
5. 预测真实同行评审。 AI 审稿分偏高，能被纯改写刷高，与人类评分的相关性也很弱（洗稿研究中 r=0.15）；不同 AI 审稿人之间反而过于一致，意见趋同，缺少人类评审那样的多样视角。AI 审稿分高不代表会被接收，投稿前仍需要人类同事预审。
6. 承担责任。 NeurIPS 2026 和 ICML 2026 要求作者对全部内容负责，且不允许 LLM 或 agent 署名；ACL 2026 要求作者在投稿前亲自确认每条引用的存在性和相关性。详见会议与 arXiv 规则。
7. 证据本身的局限。 本页引用的结果大多样本小（10 个题目、36 个探针、单个案例）、由系统作者自己报告，而且多是算力需求不高的任务；部分研究用的模型已不是最新。没有任何研究显示全自主 pipeline 通过了顶会主会的正常人类评审；已知的真实接收案例都有人参与，或者只在 workshop 级别，见真实评审中的案例。

相关页面

• 推荐流水线（S0–S10）：把这些模式按阶段串起来，并给出人力估计。
• 怎么选 pipeline：哪些现成 pipeline 已经实现了其中一部分。
• 主要失败模式 和 为什么 AI 审稿分不可信：这些模式要防的问题。
• 术语表：本页用到的术语。