跳转到内容

总结与研究机会

回答你的问题:

  • “一键产出好论文”的 pipeline:没有。 最接近的 Sakana Agentic Scientist 和 ScientistTwo,前者靠人类 co-scientist 才拿到真实接收,后者只有 AI 审稿和小规模自评。
  • 能把大量实验工程、初稿和自查工作自动化的 pipeline:有。 代表是 ARIS(成熟、更新频繁)和 Sakana v3(设计最严谨,但刚开源两天、只有 1 个 commit)。但没有研究测过它们到底省了多少人工。按推荐流水线一页的估算,每篇仍需 40–80 小时专注的人工时间,论文质量的上限取决于你选的问题和你搭的验证体系。
  • 2026 年多方来源的共同指向(ICLR 2027 程序主席博客、Anthropic system card 和 METR、OpenAI、CRUX):工程可靠性仍然不够,超时、崩溃、交不出有效结果都很常见(见主要失败模式);但更难的瓶颈是“能不能保证真实”和“能不能判断什么值得做”。

如果你想把 auto-research 本身当研究方向,下面这些问题还开着:

  1. 研究品味和新颖性的评估与训练。TASTE 上模型仍接近随机。更细的问题清单见开放问题:哪些新证据会改变这些结论。
  2. 不可篡改的评估协议,以及在线的 reward hacking 监控。
  3. “跨家族审稿是否真的更好”的对照实验。ARIS 自己承认还缺。
  4. 能看代码和日志的自动审稿器,以及如何抵抗 Goodhart 效应。
  5. 用真实同行评审做大规模端到端评估。CAISc 2026 公开的 AI 和人类评审可以作为起点。