跳转到内容
Auto-Research 调研

结论速览

直接回答：没有。 截至 2026-10-15，没有任何 pipeline 有公开证据表明，它能在没有人选题、没有人改写的情况下，产出通过顶会主会正常人类评审的 AI/ML 论文。这一点不论底层用的是 Claude、Codex 还是别的模型都成立。现在能做到的是：人定研究问题和评估协议，Claude Code / Codex 自动完成大量实验工程、初稿和自查，产出一份“可审计的强初稿”，再由人核实、改写后投稿。

  1. 真实同行评审里的成功案例，全都有人参与。
    • Sakana AI Scientist-v2 在 ICLR 2025 ICBINB workshop 有一篇论文拿到 6/7/6。这个 workshop 的接收率约 70%。正文没人改过，但经过了人工筛选：人从约 40 个 idea 里挑了 3 个，每个跑多个 seed 后各留最好的一篇，3 篇都投了，只有这一篇过线，另外两篇没被接收。这篇按事先约定撤稿。Sakana 内部评审认为它只够主会 4/10，并发现约 57% 的测试集与训练集重叠。
    • Sakana Agentic Scientist（AI-Scientist-v3，2026-10-13 开源）用开发版在 co-scientist 模式下产出了一篇论文，被 ALIFE 2026 主会接收为 talk。人定了方向、baseline 和 rubric，核对了全部数字和引用，投稿前人工插入约 17.5%、删除约 10.7% 的文字。
    • Intology Zochi 自称有一篇论文被 ACL 2025 主会接收。人选了领域，负责核查、画图和终稿编辑，rebuttal 也是手写的。底模没有公开，ACL Anthology 里也查不到这篇论文。
  2. 独立评测和开发方自己做的人类评审，结论都是达不到顶会线。
    • ResearchArena（Cornell，第三方）：Claude Code、Codex、Kimi Code 一共产出 117 篇论文，“没有一篇达到顶会接收线”。
    • CRUX 影子评测（Princeton 牵头，第三方）：Opus 4.8 agent 用 6 天重做两篇未发表 NeurIPS 2026 投稿的研究问题，原作者分别打了 2/6 和 1/6。
    • FARS（Analemma 评自家系统，底模未公开）：166 篇全自动论文，志愿者评审均分约 3.2/10。
  3. 瓶颈不在文笔，在“诚信”和“研究品味”。
    • 诚信方面的问题包括：伪造或夸大结果、假引用、评估作弊（开放式科研任务中自发 reward hacking 达 30.5%），以及自查时已经发现问题却照样输出结论（82.5%）。
    • 品味方面：新颖性大多是对已有工作的重组。用 AI 审稿来指导修改，能解决 85% 的执行类问题，但 idea 类问题只能解决 11%。
    • “品味”其实可以拆成几层：在指标给定、反馈便宜的问题里，模型的实验决策已经很强；需要自己判断重要性、或只能等待延迟反馈时则明显偏弱。详见研究品味专题。
  4. Claude Code 和 Codex 的差异，主要来自底层模型（厂商和具体版本），不是 harness 本身。同一家换一个版本，表现也可能差很多。
    • 在 Opus 4.6 对 GPT-5.4 这一代：Claude Code 的研究计划更有野心，只看稿件的 AI 审稿分更高，表达也更好。但它“论文与实验产物不一致”和“假引用”的比例分别是 31% 和 36%，Codex 只有 5% 和 8%。Codex 的问题是实验更常不充分：41% 对 25.6%。
    • Sakana 用 70 次实验做了对照：底模相同时，换 harness 没有带来一致的差别。
    • 流行做法是“Claude 执行，GPT(Codex) 跨家族审稿”。这种分工本身目前还没有对照实验证明更好。
  5. AI 审稿分不能当质量证据。
    • 区分度很低：Stanford Agentic Reviewer（SAR）给 ICLR 已接收和被拒论文打的平均分只差 0.25，人类审稿人差 1.52。在 CRUX 里，原作者给最终论文只打 1–2/6，SAR 却对其早期草稿给出“建议接收”。
    • 很容易刷分：零样本改写（本意不改内容）就能让平均分涨 0.45。ARIS 维护者还记录过一个案例，复用同一个审稿线程，同一篇论文从 3/10 被刷到 8/10（单个案例，没有对照复现）。
  6. 开源 pipeline 可以直接拿来用，但质量证据大多只是自报或 AI 审稿分，仅有的几项独立评测结果也不好。
    • ARIS（17.5k★）、AutoResearchClaw（14.7k★）、Sakana AI-Scientist-v3、Spark-to-Paper、DeepScientist 等，目前都没有产出的论文被真实顶会接收。
    • 独立评测中，ARIS 的成绩低于或持平同一模型的原生 Codex：ResearchClawBench 13.6 对 18.4，ResearchFlow-Eval 44.5 对 45.1。AutoResearchClaw 在 ResearchFlow-Eval 上只有 18.6。

怎么用最划算：把这些 pipeline 当作实验工程、写作和审计的自动化底座。人只在四个关口把关：选题、评估协议、结论签字、终审。详见推荐流水线。