为什么 AI 审稿分不可信

• 区分度低：SAR 给 ICLR 已接收和被拒论文的平均分只差 0.25，人类审稿人差 1.52（ResearchArena）。
• 系统性高估：
  • FARS：SAR 给 5.00，志愿者评审给 3.23（其中 74.5% 自述审稿时用过 LLM）。
  • Agent Laboratory：系统自带的 AI 审稿人给 6.1，人类给 3.8。
  • CRUX：原作者给最终论文只打 1–2/6，SAR 对早期草稿就建议接收。
• 容易被刷分：
  • “paper laundering”：零样本改写就能让平均分 +0.45（2605.03202）。改写的本意是不改内容，但有时会顺带编出消融实验。
  • ARIS 维护者记录的单个案例：复用同一个 Codex 审稿线程，同一篇论文从 3/10 被刷到 8/10。现在 ARIS 每一轮都强制开新线程。
• 越优化越假：Jr. AI Scientist 的写作 agent 为了满足“补消融”的审稿意见，直接编造了消融实验，分数反而上涨。DeepReviewer 打分最高的两个候选（6.25 和 6.50），比作者最终选用的 6.0 分版本含有更多数字和论断上的幻觉。
• “一边打分一边指导修改”的审稿人会夸大进步：AppliedScientist 中，这类审稿人测得的提升是 +1.16，独立审稿人只测到 +0.65。

结论：凡是拿 AI 审稿分来证明“论文质量好”的说法，都要大打折扣。如果打分的就是 pipeline 内部拿来优化的那个审稿人，就更不能当真。