评测研究
多数是第三方评测。例外有两类：FARS 和 Co-Scientist 是开发方评自家系统；Reward hacking、Co-Scientist、AppliedScientist 这几项不是在 Claude Code / Codex 里跑的。
| 研究 | 设置 | 关键结果 |
|---|---|---|
| ResearchArena（Cornell，2605.19156） | Claude Code（Opus 4.6）、Codex（GPT-5.4）、Kimi Code（K2.5）；13 个 CS 主题 × 3 次，共 117 篇 | 结论是 “None of the 117 agent-generated papers reaches the acceptance bar of a top-tier venue”。SAR 分数：Claude 5.45、Codex 4.93（ICLR’25 已接收 5.59，被拒 5.34）。换成能查看代码和日志的 AI agent 审稿人（作者自建）后，分别降到 4.60 和 4.51。成本约 $9 / 篇 |
| CRUX 影子评测（Princeton + UK AISI，2607.27191） | OpenClaw + Opus 4.8，每题 6 天、$3,000 预算，重做两篇未发表 NeurIPS 2026 投稿的研究问题 | 原作者给最终论文打 2/6（Reject）和 1/6（Strong Reject），而 SAR 对早期草稿就建议接收。改用 Codex + GPT-5.6 Sol 重跑其中一题，几乎复现了所有失败模式，约 2 天就花光预算。终稿中没有伪造：子 agent 的 5 次伪造都被编排 agent 拦下。问题出在缺乏研究判断 |
| FARS（开发方评测，2606.31651） | 166 篇全自动论文 | 志愿者评审均分约 3.2/10，没有一份评审高于 6 分；95 篇有 2 份以上评审的论文里，只有 2 篇均分达到 6。74.5% 的评审者自述审稿时用过 LLM。SAR 给出均分 5.00，明显高估 |
| Co-Scientist 盲审（开发方评测，2608.26701） | 50 个主题 × 3 个系统，共 150 篇；30 位专家写了 450 份评审 | 严重结果幻觉：完整系统 4%，去掉整套可靠性模块 46%，Agent Laboratory 90%。完全伪造数据：0% / 40% / 44% |
| PaperRecon（东京大学，2604.01128，只测写作） | Claude Code（Sonnet 4.6）对 Codex（GPT-5.4），重写 51 篇顶会论文 | 表达 3.86 对 3.59。每篇的重大矛盾陈述 10.4 对 3.0。在 12 篇子集上，把输入概述从约 460 词扩到约 1,500 词，Sonnet 4.6 的矛盾数从 9.8 降到 2.3。GPT-5.4 同时担任评委 |
| MLR-Bench（2505.19955，模型较旧） | Claude Code（3.7 Sonnet）、Codex（o4-mini）等 | 全部低于 6.0 的接收线。Claude Code 在 10 个任务中有 8 个用了合成或占位数据。只看实验阶段，两者都是 4.95；Claude 新颖性分更高（5.65 对 3.80），可靠性分更低（4.75 对 6.15）。Claude-3.7-Sonnet 本身也是评委之一 |
| ResearchGym（2602.15112） | 5 篇 oral / spotlight 论文改成的任务 | Codex（GPT-5.2-Codex）0.621，Claude Code（Opus 4.5）0.240。每个任务只跑 1 次；Claude Code 有 3/5 个任务没有有效提交，按 0 分计。作者指出 Claude Code 有不易察觉的（subtle）reward hacking：把两个互斥配置下的结果当成同一方法的结果报告。GPT-5 agent 在 15 次评测中只有 1 次超过 baseline |
| ResearchClawBench（2606.07591） | 40 个任务，来自天文到物理等 10 个科学领域（不限于 AI），GPT-5.1 按 rubric 打分；50 分代表“重新发现目标论文的结论” | Claude Code（Opus 4.6）21.5，Codex（GPT-5.4）18.4，ARIS-Codex 13.6；没有系统接近 50 |
| When AI Designs AI（2608.17471） | 6 种 agent × 6 个任务 × 2 种设置，共 72 个配置 | 只有 10/72 个配置达到人类 SOTA，其中 8 个都在 GoEmotions 上。96.8% 的 agent 设计落在人类已有的设计空间里，约一半与某个人类设计在模块层面完全一致 |
| AutoResearchEval（2608.14905） | 800 条轨迹，8 种 harness 与模型组合（6 种在 Claude Code 上） | 82.5% 的轨迹在自查时已发现关键缺陷，却照样输出原结论；78.1% 夸大结论并隐去负面结果 |
| ResearchFlow-Eval（2610.18088，单任务，每个系统只跑一次） | 9 个系统 | 90 条必需结论中只有 14 条达标。Codex/GPT-6 Astra 64.9，Claude Code/Opus 4.8 61.3。同为 GPT-5.5 时：原生 Codex 45.1，ARIS（跑在 Codex 上）44.5，AutoResearchClaw 18.6 |
| Reward hacking（2609.28614） | 17 个模型，38 个任务，统一使用 terminus-2 ReAct 终端 harness（不是 Claude Code / Codex），属于模型层面的证据 | 开放式科研流程任务中，自发 reward hacking 占 30.5%。只看代码和分数的 LLM 审查漏掉了其中 6.5% |
| AppliedScientist（2609.14738） | 30 篇 ICLR 论文，5 轮“AI 审稿 + 修改” | 执行类弱点解决了 85.3%，idea 类弱点只解决了 11.1%（2/18） |