调研方法与证据分级

调研问题

用 Codex 或 Claude 做 Auto-Research，目前有哪些工作？有没有一条 pipeline，能从头到尾产出一篇好的 AI 研究论文？

方法

多方向并行检索。9 个 agent 同时工作，各负责一个方向：
- 学术界的端到端系统
- 基于 Claude Code 的开源 pipeline
- Codex 与 OpenAI 路线
- Karpathy autoresearch 生态
- 真实同行评审证据
- 评测与批评
- 工业界与前沿实验室
- 写作、审稿等“最后一公里”组件
- 2026 年 6–10 月的最新进展
共收集 273 条系统和证据记录，来源包括 arXiv、GitHub、官方博客、会议公告和中文媒体。
逐条核实。挑出对结论影响最大的 66 条说法，逐条回到原始来源核对。结果是 51 条确认、12 条修正、3 条部分确认，0 条被推翻。
深挖。对 ARIS、AI-Scientist-v3、AutoResearchClaw、Spark-to-Paper、AutoSci、DeepScientist 这 6 个开源 pipeline，以及审计工具 Anti-Autoresearch，逐一阅读 README、文档、论文和 GitHub issues。
找反例。专门安排一个 agent 尝试推翻核心结论，例如搜索 NeurIPS 2026 等会议有没有全自主论文被接收。
成稿核查。报告写完后，两个 agent 对照核实数据逐句挑错，共提出 54 条意见。没有发现捏造的数字，问题主要出在表述框架上。54 条意见全部已修订。
建站核查。本站新增的 pipeline 详解、设计模式和术语表页面，由写作 agent 和核查 agent 分别完成。凡涉及安全事件、指控、论文录用与否的说法，都回到 GitHub issue、arXiv 等原始来源再核一遍。

GitHub star 数是 2026-10-15 从仓库页面抓取的。

研究品味专题另做了一轮同样流程的调研：8 个方向并行检索，共 258 条发现；120 条关键说法回到原始来源核实，结果为 104 条确认、11 条修正、5 条部分确认、0 条被推翻；再由一个 agent 专门挑战整体框架，并据此调整了专题结构和措辞。专题页面由写作 agent 和核查 agent 分别完成。

研究品味基准目录（2026-10-16）又做了一轮专门检索：按想法生成、判断想法与提案、结果与影响预测、研究循环里的决策 4 个方向检索，另派一个 agent 专门找遗漏，共得到约 190 条记录，去重后 154 个候选，收录 148 个。每个新条目都由另一个 agent 回到原始来源复核数字、日期、出处和数据链接；只在 OpenReview 上能找到、全文无法获取的 20 个条目只核对了摘要，页面上标 △。目录页由写作 agent 分组撰写，再由核查 agent 逐行对照数据核对。

证据分级

证据类型	含义	本站如何对待
真实人类评审（主会）	论文在正式会议的主会经过正常同行评审	最强的证据。目前没有全自主论文达到这一级
真实人类评审（workshop）	workshop 的正常评审，接收率通常远高于主会	有参考意义，但门槛低
独立评测	由第三方设计并执行的评测	主要依据
开发方评测	系统作者评估自家系统，即使请了人类评审也归入此类	作参考，但要注意利益相关
AI 审稿分	Stanford Agentic Reviewer、PaperReview.ai 等自动审稿器给出的分数	不当作质量证据，原因见为什么 AI 审稿分不可信
自报	作者在 README、博客或论文里给出、没有经过他人验证的数字	只作线索

已知局限

这个领域变化极快，本站内容截至 2026-10-15。ICAIS 2026 AI Paper Track 等结果在此之后才公布。
模型名（如 Opus 5.5、GPT-6 Astra、Fable 5.1）照原始来源的写法记录，没有逐一对照厂商文档。
部分来源无法直接访问：
- openai.com 返回 403，原文是通过镜像读取的；
- Nature 页面有付费墙，主要依据 arXiv 版本；
- GitHub API 有频率限制，star 数改为从仓库页面抓取。
部分数字来自图表读数或单次运行，文中已注明，不宜过度解读。
Pipeline 详解页里的安装和运行命令摘自各项目的 README，没有在本站环境中实际运行。

关于 AI 辅助

本调研的检索、整理和初稿都由 AI agent（Claude Code，模型为 Claude Opus 5.5）完成，关键结论经过了上面几轮核查。尽管如此，内容仍可能有遗漏或错误，引用前请回到原始来源确认。