研究品味基准目录
这是研究品味基准全览的完整列表：148 个直接测研究判断的基准和评测，按模型要做的事分成 11 组，最后附 89 个容易混淆的相邻基准和研究。分布、速查、重点基准和空白见全览页；怎么读这些数字（标签来源、人类上限、LLM 裁判的偏差），见怎么衡量研究品味。
怎么读这些表
跳转到“怎么读这些表”一节- 顺序：每组内重点基准（★）在前，其余按首次公开的时间排列。
- 格子沿用本专题的记法。范围：(a) 问题内的下一步，(b) 实验设计与证据门槛，(c) 选题与方向。反馈：(1) 外部给定、便宜的客观指标，(2) 指标隐去或需要自己构造，(3) 延迟或主观的评价。定义见什么是研究品味。
- 标记：★ 是重点基准；△ 表示只核对了摘要和元数据，这些多是只在 OpenReview 上能找到的在审投稿或 workshop 论文，全文无法获取。没有标记的条目，数字都回到原始来源核对过。
- 主要结果只摘一两个数字，并附上随机水平或人类对照。各行的指标、随机水平和人类对照都不同，不能横向比较。
- 数据一栏说的是测试数据能否获取。“未找到公开数据”表示我们查过论文、项目页和代码仓库，没有找到下载地址，不等于作者以后不会公开。
- 同名不同物的基准，在名称后注明了 arXiv 号，完整的对照见全览页的“名字相近”提示。
148 个基准的结构化字段（名称、链接、首次公开时间、分组、格子、数据状态与链接、许可证）可以下载为 CSV。
一、预测实验结果
跳转到“一、预测实验结果”一节这一组让模型在结果出来之前预测实验或研究进展会怎样，标签是实际结局，例如已发表的结果或实测效果。读数时先看测试条目是否晚于被测模型的训练截止，早于截止的条目，模型可能只是记得答案。再看人类对照是普通人、平均专家还是多数票，这几种对照彼此不可比。有几项显示，用历史结局训练过的预测器，包括小模型，能超过没有经过这类训练的前沿模型。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| ★ BrainBench | Luo et al. 2024-03 · Nature Human Behaviour |
(a)·(3)。两版神经科学摘要中选出结果真实的那版，另一版的结果被改动过；LLM 按困惑度作答。300 题，取自 2023 年的 J. Neurosci. 摘要 | 标签：已发表结果（改动版由专家或 GPT-4 编写） 人类：171 位通过筛查的神经科学家，取平均 |
15 个 LLM 平均 81.4%，神经科学家平均 63.4%，自评专业度前 20% 的为 66.2%；在神经科学文献上调过的 BrainGPT 更高。对照是平均专家，题目取自 2023 年，之后训练的模型可能见过 | 公开 数据（人写）、数据（GPT-4）、代码 代码与人写题 Apache-2.0 |
| ★ Ashokkumar et al. | Harvard、Stanford、Transluce 2024-08 · Nature（2026 年正式发表） |
(a)/(b)·(3)。LLM 模拟有代表性的受访者，预测给定干预的处理效应，再与实测效应算相关；70 个预注册的美国调查实验、469 个效应，另有 15 个 megastudy | 标签：重新分析的实验处理效应（结局） 人类：2,659 位 Prolific 普通人的平均预测；9 个 megastudy 另有专家预测 |
GPT-4 预测与实测效应 r = 0.85（无技能为 0），普通人平均预测 0.84；GPT-4 截止前未发表的 30 项研究上 0.90。有专家预测的 9 个 megastudy 上 GPT-4 0.34，专家 0.26（p = 0.30）。预测系统性高估效应量 | 公开 数据与代码 |
| ★ Wen et al. | Stanford、NYU、George Washington University 2025-06 · NeurIPS 2025 |
(a)·(3)。同一研究目标下的两个想法，预测哪个在论文的 benchmark 上更好；1,585 对测试，每对至少一个想法晚于 GPT-4.1 截止；6,000 对训练 | 标签：论文报告的 benchmark 结果（结局） 人类：25 位 NLP 专家，每对取 5 人多数票，只比了 45 对 |
微调 GPT-4.1 加论文检索 agent：全测试集 77%；45 对 NLP 子集上 64.4%，专家多数票 48.9%。零样本 GPT-4.1 51.9%（论文表 4 为 51.4%）。人类对比只有 45 对，抽样误差约 ±14 个百分点 | 申请获取 |
| ★ SciPredict | Sehwag et al.（Scale AI 等） 2026-04 · ICML 2026 |
(a)·(3)。预测已发表实验的结果（选择题、自由回答、数值），可附专家背景知识；405 题，取自 2025-03-31 之后发表的研究，覆盖物理、生物、化学 33 个子领域 | 标签：已发表结果，由专家整理；自由回答按专家 rubric 评判 人类：单独的领域专家基线 |
15 个模型 14%–26%，专家约 20%。差别在校准：专家自评越可预测，正确率从约 5% 升到约 80%；模型无论置信度如何都在约 20%。测试条目只晚于部分被测模型的截止 | 公开 数据与代码 未声明许可证 |
| ★ CUSP | Wu et al.（Oxford、Stanford、Allen Institute for AI） 2026-05 · 预印本 |
(c)·(3)。把 4,760 个有日期的科学事件（2024-01 至 2026-03，8 个学科）变成可行性、机制、方案设计和日期四类预测题，共 17,429 题 | 标签：期刊和社区来源记录的实际进展（结局） 人类：100 个 AI 相关事件，参与者拿到相同的证据包 |
二元可行性题上 6 个模型 45.3%–52.6%，都低于“一律答否”的 57.03%；100 个 AI 事件上人类 73.0%，GPT-4o 52.5%。只有 GPT-4o 与人比较过 | 公开 数据、代码 MIT |
| Chen, Hu & Lu | University of Illinois at Chicago 2025-04 · 预印本 |
(a)·(3)。根据实验描述，在原结论和 LLM 生成的反向结论之间二选一，每条结论重复预测 20 次取平均；276 个经济学田野实验、1,261 条结论 | 标签：已发表的结论（结局），由 Claude 抽取并生成反向版本 人类：无 |
思维链下 GPT-4o 78%（随机 50%），GPT-4 Turbo 76%，GPT-3.5 Turbo 68%；晚于 GPT-4o 截止的 2024 年论文上准确率最高。多数实验早于模型截止，可能有记忆成分 | 未找到公开数据 |
| EvalCast | Park et al.（Georgia Tech、Hebrew University of Jerusalem） 2025-09 · 预印本 |
(b)·(3)。只看评测设置的文字描述，预测 GPT-4、GPT-4o 的得分（0–100）；2,290 条，取自 1,519 篇 arXiv 论文，含 2025 年截止后子集 | 标签：论文报告的得分（结局，来自 LLMEvalDB） 人类：7 位 NLP/ML 博士生的试点，共 140 次预测 |
GPT-5 MAE 14.7（2023–2024）和 14.8（2025，截止后）；试点子集上人类 MAE 19.6、均值基线 21.7，GPT-5 更低。测的是评测设置的难度，不是新想法的价值 | 公开 数据、代码 数据 MIT，代码 Apache-2.0 |
| DBench-Bio | Yang et al.（NUS、Tsinghua、USTC） 2026-02 · KDD 2026 |
(a)·(3)。给出一项新研究的问题，让模型推出它发现了什么；题目按月取自模型发布之后的生物医学摘要。12 个子领域，2025-12 快照 4,231 题 | 标签：LLM 从摘要抽出的答案，LLM 裁判按 1–5 分评 人类：无作答基线；3 位生物学专家抽查了 200 个问答对 |
正文没有数字，分数只在图中（1–5 分，无随机水平）；作者称所有模型整体偏低，GPT-5 系列几乎在每个子领域领先。标签来自 LLM 裁判 | 不公开（仓库只有生成和评测代码） 代码 未声明许可证 |
| Mule et al. | TCS Research、IISER Pune 2026-04 · ACL 2026 Findings |
(a)·(3)。给定 benchmark 目标和两个想法，预测哪个分数更高，两种顺序都答对才算对；11,488 对，来自 724 个 PapersWithCode 排行榜 | 标签：PapersWithCode 排行榜分数（结局） 人类：无 |
域内 869 对（随机约 25%）：Direct-SFT Qwen3-8B 77.1%，GPT-5-high 61.10%；按时间切分的跨领域 705 对上，同一个 Direct-SFT 模型只有 45.67%，与 GPT-5-high 的 45.96% 相当，最好的 RL 变体为 49.08%。域内测试未按时间切分 | 未找到公开数据（论文给的匿名链接已失效） |
| Foresight-Phys△ | Kazeev & Babich 2026-06 · ICML 2026 workshop |
(a)·(3)。根据实验描述，预测 2026 年物理预印本（晚于 GPT-5.x 截止）报告的结果，数值要附不确定度；26 篇预印本、135 个实验、661 个结果字段 | 标签：预印本报告的结果，由 LLM 流水线自动抽取 人类：无（参照为只给名称的消融） |
GPT-5.5 在摘要写明的结果上平均质量 94.5%，隐去实验设置、只给目标量名称时已有 84.6%；数值题只有 52.4% 落在 1 个标准差内（理想高斯为 68.3%）。只核对了摘要和仓库 | 公开 数据与代码 未声明许可证 |
| AlignmentForecastBench | Chen et al.（NYU、MATS、OpenAI） 2026-09 · 预印本 |
(b)·(1)/(3)。微调之前，预测某个数据集会不会让目标模型更会欺骗、更谄媚等，给出概率；5,000 多题，涉及 17 个目标模型、32 个数据集、16 种失效模式 | 标签：实际微调后测得的失效模式增量（结局） 人类：无 |
零样本前沿模型 AUROC 0.48–0.65（随机 0.5），最好的 Opus 4.6 为 0.653；分解式预测器（LLM 读数据加基率和模型先验）0.801，微调预测器 0.682。只覆盖 SFT 引起的 misalignment | 公开 数据与代码 未声明许可证 |
| Research World Models | Wang et al.（Amazon、UC Santa Cruz 等） 2026-10 · 预印本 |
(a)/(b)·(1)/(3)。在跑之前预测候选干预（预训练、后训练、推理）的增益，并从 16 个候选里挑 3 个；9 个研究环境的 2,653 条实验记录 | 标签：实际运行测得的增益（结局） 人类：无（基线为无记录的 LLM、kNN、岭回归和随机选择） |
OLMo3-100M 上 13 个模型不给历史记录时 Spearman 从 −0.362 到 0.621（随机为 0），给出实验记录后为 0.638 到 0.896；同环境记录让 Regret@3 平均降低 58.2%。记录来自作者自己的环境 | 未找到公开数据 |
二、研究循环里的选择
跳转到“二、研究循环里的选择”一节这一组的问题已经给定，模型要在研究循环里挑下一步、挑候选方案，或者决定要不要转向。标签多来自执行后的结局，单次运行的结局可能混入 seed 噪声；少数来自资深研究员的修正、LLM 裁判或构造的真值。两两比较的基准处理选项顺序的方式不同：有的要求两种顺序都答对才算对，随机水平因此是 25%；有的取两种顺序的平均，有的在两次不一致时弃权，读数前先看口径。有独立人类对照的很少。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| ★ Anthropic 下一步评测 | Anthropic（Favaro & Clark） 2026-06 · 博客 |
(a)·(1)/(3)。真实 Claude Code 研究会话里研究员走了弯路的时刻，模型只看此前的上下文，提出下一步；129 个特意挑出的时刻（2026 年 1–3 月） | 标签：另一个 Claude 裁判，能看到会话后来怎么结束 人类：研究员本人当时的选择，不是独立专家 |
被判为比研究员更好的比例：Opus 4.5 51%，Mythos Preview 64%；在人的选择本来就好的 127 个对照时刻，模型只有约 20% 被判更好。Anthropic 自己说这不是同口径比较 | 不公开 |
| ★ AI Research Preference Models | Foster et al.（FAIR at Meta、Oxford、UCL） 2026-08 · 预印本 |
(a)·(1)。在 agent 搜索树的两个兄弟节点之间，选出值得执行的那个；离线 1,000 对，另在 20 个 AIRS-Bench 任务上接入循环，各跑 10 个 seed | 标签：节点子树里最好的测试分数（结局），剔除近似平局 人类：无 |
离线节点对（随机 50%）：单个模型直接判断 64.66%–67.44%，让 RPM 先跑试点实验的 agent 版本最高 84.02%（4 小时预算）。循环内得分从随机选子节点的 0.684 升到 0.729，测试 oracle 0.759。在线只用了一个 backbone | 部分公开（在线的 20 个 AIRS-Bench 任务公开，离线节点对不公开） |
| ★ Taste-Bench | Pan et al.（CityU HK、Microsoft） 2026-09 · 预印本 |
(a)·(1)。从 agent 轨迹里自动挖出的二选一分叉：只看此前的轨迹，选出更好的下一步（测哪个假设、在哪个实现上继续）；502 题，研究 112 题、工程 390 题 | 标签：后来哪条分支更好（结局）；两人抽查 100 题，98.8% 的判断同意 人类：无表现基线 |
两种顺序都对才算对（随机 25%）：GPT-5.6 Sol 59.7% 最高，Claude Opus 5 在研究子集上 64.3% 最高；模型均值在证据已在前文时 62.3%，需要后续大量工作时 21.0%。标签可能混入 seed 噪声 | 公开（需登录，自动批准） 数据、代码 数据 CC BY 4.0，代码 MIT |
| ★ TasteVal | P-Zero Research（Jaffe & Sherburn） 2026-10 · 预印本 |
(b)·(1)。问题固定，被测模型当 Researcher 设计和解读实验，固定的 Coder 负责实现；比较达到专家基线所需的算力。8 个 AI 研发任务 | 标签：任务指标（结局） 人类：每个任务至少 2 位专家中最好的一次，设计与解读不许用 AI |
Opus 5.5（max）2.30×（95% CI 1.15–4.37，专家 = 1×）；按最终分数只有 1.14×。作者称任务刻意选得容易验证 | 不公开 |
| ★ SciΠvot | Sun et al.（University of Maryland 等） 2026-10 · ARR 2026 年 10 月投稿，在审 |
(a)/(b)·(2)/(3)。在研究项目进行中的关键节点，在 agent 的计划和资深研究员的修正之间二选一（聚焦、证据够不够、是否重复）；6 个领域 26 个项目，248 例 | 标签：资深研究员对 agent 计划的修正 人类：没接触过项目的研究员读项目记录作答，可以用 agent 助手 |
看项目记录、medium 推理（随机 50%）：GPT-6 Astra 59.5%，5 个模型中 4 个低于随机；同一条件下各推理强度中最高 63.5%，人类 73.4%。不给项目记录时每个模型都更高（均值 55.8%）。案例是特意挑出的修正 | 未找到公开数据 数据：仓库在 2026-10-16 为空 |
| MOOSE-Chem3 | Liu et al.（USTC、Shanghai AI Lab、NTU） 2025-05 · 预印本 |
(a)/(b)·(1)/(2)。从 64 个候选假设里依次挑下一个去做实验，模拟器按与真实假设的相似度加噪声给反馈，看几次能找到真实假设；51 个化学问题 | 标签：模拟器（CSX-Sim）根据已发表的真实假设打分 人类：无（随机顺序搜索为基线） |
找到真实假设平均所需次数（越少越好）：随机顺序 32.5，实验前 LLM 排序 28.6，CSX-Rank 15.2；模拟器与 124 个真实结果的 Spearman 为 0.960。反馈是模拟的，只用了 GPT-4o-mini | 公开 数据与代码 未声明许可证 |
| FOREAGENT | Zheng et al.（Zhejiang University、Ant Group） 2026-01 · ACL 2026 |
(a)/(b)·(1)/(3)。执行之前，根据任务描述、数据分析报告和两份代码方案，预测哪份得分更高；26 个 MLE-bench 任务，18,438 对 | 标签：执行后的测试分数（结局） 人类：无定量基线，只有一个定性案例 |
准确率（随机 50%，复杂度启发式 50.8%）：DeepSeek-V3.2-Thinking 61.5%，GPT-5.1 58.8%；本地验证指标本身只选对 72.2%。MLE-bench 是公开 Kaggle 比赛，优胜方案可能被记住 | 公开 数据与代码 MIT |
| Rehearse | Tencent（Ji & Ding） 2026-07 · 预印本 |
(a)·(1)/(3)。训练之前判断两个代码改动哪个能提高指标，两种顺序结论一致才作答，否则弃权；39 个 AutoSOTA 任务的 366 对，另有实时研究循环 | 标签：公开 AutoSOTA 日志里实测的指标变化（结局） 人类：无 |
296 对（随机 50%）上，无历史记忆的裁判在作答的对里准确率 79.5%；轨迹中累积 3 次及以上成功后，准确率从 82.8% 降到 56.9%，覆盖率从 76% 升到 85%。取三个裁判模型的平均，没有 Claude 或 GPT | 未找到公开数据 |
| BóLèBench△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(a)/(b)·(1)。只看不含结果的描述，判断两次已执行的研究尝试哪次得分更高，分四种信息量；另有十选一。4,059 对，来自 4 个语料 | 标签：同等算力下并行 rollout 的实际得分（结局） 人类：10 个共享锚点对上的人类多数票 |
16 个裁判中最新的前沿模型 70.8%，9 个裁判的多数票 67.1%（随机 50%）；十选一时最好的裁判 36.0%（随机 10%）。10 个锚点对上，人类多数票与模型多数票的选择完全相同，连 3 个错误也一样。只核对了摘要 | 未找到公开数据（摘要称已发布） |
| SENSE-Bench△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(a)/(c)·(1)/(2)。在机制已知的合成环境里，agent 要决定追哪些异常现象、怎么检验；异常检测、研究品味、实验支持和结论正确性分开打分。9 类共 180 例 | 标签：构造的真值（虚构机制，含噪声和无异常对照） 人类：无（摘要未提） |
摘要没有数字。GPT-6 Astra 的异常检测和机制发现强于其他 agent，但在挑选值得追的异常上（研究品味）偏弱。只核对了摘要，环境是合成的 | 未找到公开数据 |
| TadA-Bio△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(a)/(b)·(1)。回放一次真实的 31 轮 TadA 定向进化实验，agent 在预算内决定开哪个库、筛多少、确认哪些命中、何时停；以最终现金为主指标 | 标签：回放的实测序列和活性（结局） 人类：无（对照为启发式策略） |
摘要没有数字。比较了启发式策略和 Codex、OpenCode、Claude Code 三种 harness，能区分有效操作、只保现金、浪费式探索、运行失败和无效的技能购买。只核对了摘要，决策质量与 harness 可靠性混在一起 | 未找到公开数据 |
| IdeaDec△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(b)·(2)。证据分 7–9 个检查点陆续放出，模型要维护并修改五部分研究状态（假设、方法、指标、判断、计划）；137 条轨迹，分依赖维护、冲突修订、动态恢复三组 | 标签：作者预设的目标状态和操作，用语义关卡检查 人类：无 |
18 个模型配置的平均结构完成率 89.05%，语义成功率只有 51.95%，相差 37.10 个百分点；每个配置都是恢复子集最低。只核对了摘要 | 未找到公开数据 |
| Do Research Agents Improve for the Right Reasons?△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(a)/(b)·(1)/(2)。改进神经量子纠错（QEC）解码器时，agent 要先提交可机器检查的诊断，再选训练数据干预；诊断按隐藏的物理机制打分。规模摘要未写 | 标签：留出的物理机制和解码器性能（结局） 人类：无 |
摘要没有数字。只给结局反馈也能提高解码器性能，提升可以在没有机制证据时出现；反事实失败证据不靠反馈搜索也能改进干预；篡改诊断会明显降低效用，序列化安慰剂几乎没有影响。只核对了摘要 | 未找到公开数据 |
| ML-Idea-Critic-Bench | Bai et al.（Meta、Penn State） 2026-10 · 预印本 |
(a)·(1)。预测一个 ML 改动想法执行后能否超过父方案（提升、持平、变差，另有 5 级细分）；约 1.5K 个评测样例，取自约 28K 个执行过的父子对 | 标签：子方案相对父方案的实测提升（结局），阈值按父方案设定 人类：无 |
零样本 Gemini-3.1-Pro：Improve 准确率 54.3，三分类 46.6；训练后的 35B 模型三分类 63.3。未报告随机水平，训练池 58.4% 为 Improve。想法和实现都出自 Gemini-3.1-Pro | 未找到公开数据 |
| Do Research Agents Have Taste?△ | 匿名 2026-10 · ARR 2026 年 10 月投稿，在审 |
(b)·(1)/(3)。agent 为每篇论文登记 5 个最小可行实验（MVE），执行前预测结果并排序；7 篇 NLP 论文、415 个 MVE、6 个前沿模型 | 标签：MVE 的执行结果，加审核者评判（摘要没写审核者是人还是 LLM） 人类：无 |
415 个 MVE 中 194 个合理、有价值且新；预测的 Brier 0.192，只读论文的同模型副本 0.198，未显示更好。agent 首选与审核者一致的比例 38%，首个写出的 MVE 34%，随机 20%。只核对了摘要 | 部分公开（匿名仓库只有代码和种子列表） 代码 MIT |
三、主动实验与发现环境
跳转到“三、主动实验与发现环境”一节这一组把模型放进模拟器或回放的实验记录里：环境握有真值（生成模型、隐藏定律、因果图或已发表的测量），模型自己决定做哪些实验、什么时候停。标签几乎都是结局，例如恢复出的定律、预测误差或信息增益；只有少数环节（等价判定、解释打分）交给 LLM 裁判。除 OpenHypBench 要先自己找值得研究的假设外，测的都是问题给定之后实验选择的效率和信息量，不是选题。多数环境是风格化的小世界，既没有人类基线也没有随机水平，读数时先看它和哪种非 agent 基线比。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| ★ BoxingGym | Stanford（Gandhi et al.） 2025-01 · NeurIPS 2025 workshop |
(b)·(1)。在 10 个概率生成模型环境（认知科学、生态、流行病等）里自选实验、修正模型，再用自然语言把发现讲给新手 agent；6 个 LLM，各跑 5 次 | 标签：真实生成模型下的期望信息增益（EIG）和预测误差（结局） 人类：无 |
没有单一总分，结果只在图中。EI Regret 以 100 个随机实验里最高的 EIG 为参照（越低越好）；做满 10 个实验后，给先验信息往往没有帮助，模型越大越好。只测到 GPT-4o、Claude-3.7-sonnet 这一代 | 公开 数据与代码 MIT |
| DiscoveryWorld | Allen Institute for AI 等（Jansen et al.） 2024-06 · NeurIPS 2024 D&B |
(b)·(1)。文本模拟世界里的发现任务：提假设、设计实验、按结论行动，分别评流程、完成度和解释性知识；8 个主题 × 3 档难度 × 5 个 seed，共 120 个任务 | 标签：自动的完成度与流程检查，解释性知识由 GPT-4o 评分 人类：11 位硕博学历的科学家，只做了 16 个 Normal/Challenge 实例 |
最好的 agent（ReAct，GPT-4o）完成 38% 的 easy 和 18% 的 challenge 任务；人类在 Normal/Challenge 任务上平均完成 66%、知识得分 55%。人机做的任务难度组合不同，不是同口径比较 | 公开 数据与代码 Apache-2.0 |
| SciGym | University of Toronto 等（Duan et al.） 2025-07 · NeurIPS 2025 |
(b)·(1)。对 SBML 模拟的生物系统请求扰动实验（主实验只能改初始浓度），写代码分析，再提交补全缺失反应的模型；公开 350 个系统，评测其中 137 个小系统，6 个模型 | 标签：拓扑与反应恢复分数、模拟轨迹误差（对照真实模型） 人类：无；以不做实验的 zero-shot 提示为对照 |
6 个模型都优于各自的 zero-shot 对照，Gemini-2.5-Pro 总体最好；反应数从 2 增到 10 时，Claude-Sonnet 和 GPT-4.1 的轨迹误差从约 0.1 升到 0.55。无随机水平，只测到 2025 年的模型 | 公开 数据、代码 未声明许可证 |
| NewtonBench | HKUST、NVIDIA（Zheng et al.） 2025-10 · ICLR 2026 |
(b)·(1)。用实验工具（可选代码解释器）探测被反事实改动的物理定律，再提交方程；12 个领域、108 条改动定律 × 3 级系统复杂度，共 324 个任务，11 个模型 | 标签：改动后的真值定律，符号等价由 LLM 裁判判定（与人类专家一致 98.3%） 人类：无 |
精确恢复定律的准确率（无随机水平）：GPT-5 75.9%，Gemini-2.5-pro 65.4%；最难设置下分别为 40.3% 和 16.7%，其余推理模型都低于 6%。给代码解释器可能让强模型过早从探索转向利用。只测到 2025 年的模型 | 公开 数据与代码 MIT |
| DiscoverPhysics | Princeton 等（Wiemann et al.） 2026-05 · 预印本 |
(b)·(1)。N 体世界里引力形式非标准，或有隐藏粒子、随时间变化的相互作用；模型在固定轮数内做实验，再提交解释和 Python 定律；22 个世界（公开、私有各 11 个），11 个模型 | 标签：轨迹 MSE（结局），解释由 claude-opus-4-6 按专家 rubric 打分 人类：无；以随机实验模式作对照 |
pass@1 / pass@5（无随机水平）：claude-opus-4-7 26.4% / 50.0%，gpt-5.5 21.7% / 36.4%；开放模型的引导实验和随机实验几乎没有差别。解释分只来自一个 LLM 裁判，与榜首模型同属 Claude 系列 | 部分公开 数据（私有世界需申请）、代码 MIT |
| WhatWorkedBench | CMU、Tsinghua（Ning et al.） 2026-09 · 预印本 |
(b)·(1)。agent 读小型 ML 工作流的代码，花预算购买测量值，再提交效应表或配置选择；8 类工作流、36 个任务条件、1,248 条配置记录 | 标签：穷举测得的响应面（结局） 人类：无；以拟合同样观测的高斯过程、ridge 设计作统计基线 |
DeepSeek V4 Flash 的效应恢复比拟合同样观测的高斯过程高 0.147（12 个来源中 11 个胜出）；DeepSeek V4 Pro 计入全部尝试时，与高斯过程的差值为 −0.001。只测了同一家族的两个模型 | 公开 数据、代码 Apache-2.0 |
| ACED-Bench | UC San Diego、Amazon（Chen et al.） 2026-10 · 预印本 |
(b)·(1)。合成科学场景背后是隐藏的概率图模型；agent 在 4 轮内（最多 10 次查询）选干预、取数据、决定何时停，再回答因果查询或做受约束的因果决策；ACED-Core 180 题 | 标签：隐藏概率图模型给出的精确答案 人类：无；以不看数据直接猜（guess-only）为参照 |
图中读数：ACED-Core 最高约 0.90（Gemini-3-Pro），Claude Opus-4.6 约 0.82，GPT-4o 最好也只有约 0.54；不看数据直接猜约 0.39–0.58。常见失败是干预选错、丢掉证据、证据已够还在查。95% CI 约 ±0.1 | 未找到公开数据 |
| SLDBench v2 | CUHK-Shenzhen 等（Meng et al.） 2026-10 · 预印本 |
(b)·(1)。建模问题固定，agent 从带价格的历史实验目录里买实验（回放已有记录），再提交可执行的 scaling law，按隐藏的更大规模目标算 R²；30 个难任务，8 个 agent 系统各跑 3 次 | 标签：公开训练运行的记录结果（结局） 人类：无；以全量数据拟合的参考定律（中位 R² 0.455）和非 agent 采样规则为参照 |
中位 R²：给全部数据时 0.723–0.753，分不开系统；自己买数据时 0.235–0.570，Claude Opus 5.5（Claude Code）最高，只花了全量成本的中位 4.01%。两种设置的排名相关很弱（Spearman 0.21）。多数系统共用 Claude Code 框架 | 未找到公开数据 |
| OpenHypBench | Virginia Tech、Amazon（Kabra et al.） 2026-10 · 预印本 |
(a)/(c)·(2)。还没有任何假设时，agent 探索大表数据（53–65 个变量，1M–10M 行），提出一组值得研究的假设，与植入的 351 条假设比对；5 个领域，15 个任务 | 标签：植入的结构因果模型，机制由 Claude Opus 4.8 构建，等价性也由它判定 人类：无 |
与植入假设比对的 F1（无随机水平）：作者的 HypAgent 0.49，Claude Code 0.35，PC 算法 0.00；所有 LLM 方法都用 Claude Sonnet 4.6。不少失败发生在已找到相关变量之后，错在函数形式或条件。作者自己的系统排第一 | 未找到公开数据 |
| Autonomous Science Bench | Northwestern（Wen & Liu） 2026-10 · 预印本 |
(b)·(1)。在回放已发表测量的实验 API 上按预算分批下单（每个 campaign 限 8 小时），再交付排序模型，须同时过发现和学习两道门槛；6 个生物、化学、材料 campaign，8 种 agent 配置各 3 次 | 标签：已发表的实验测量（结局），门槛经校准 人类：没有实测；作者估计领域专家每个 campaign 需 8–12 小时 |
144 次试验只有 31 次通过；Opus 5.5（Claude Code，max）通过 67%，GPT-5.6 Terra 44%，Haiku 4.5 0%。门槛校准为非自适应或零测量基线在至少 90% 的切分上失败。回放的是已发表数据，答案可能被记住 | 公开 数据、代码 Apache-2.0 |
四、设计实验与研究计划
跳转到“四、设计实验与研究计划”一节这一组让模型为给定的问题或想法写实验方案、消融设计或完整的研究计划，再拿去和原论文实际做过的实验、审稿人要求补的实验、专家 rubric 或既有基准的公开分数（EvalResearchBench）对照。打分多由 LLM 裁判按 rubric 或匹配规则完成，约一半另有专家评分或人类对照。读数时记住，“和论文一致”不等于“是最好的设计”：与原文不同但合理的方案会被扣分，而原论文也可能已在训练数据里。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| BLADE | University of Washington（Gu et al.） 2024-08 · EMNLP 2024 Findings |
(b)·(2)。给定数据集和研究问题，判断哪个概念变量或数据变换最（或最不）站得住（选择题），并生成完整分析，与专家的决策空间比对；12 个数据集，188 道选择题，536 个专家分析决策 | 标签：11 位分析专家的独立分析，加经专家核验的 GPT-4 候选决策 人类：无任务得分；标注时专家间一致 75%（变换）和 80%（概念变量） |
分析生成的加权 F1（无随机水平）：Claude 3.5 Sonnet 43.9，GPT-4o 41.7（ReAct agent 下 44.8）；对专家决策的覆盖率，统计模型一项低于 13%，变量操作化低于 27%。匹配靠 GPT-4o，只测了 2024 年的模型 | 公开 数据与代码 代码 Apache-2.0，数据 ODC-By |
| AAAR-1.0 ExpDesign | Lou et al. 2024-10 · ICML 2025 |
(b)·(3)。为 AI/ML 论文生成要做的实验清单和理由，用基于蕴含的 F1 与原论文的实验比对；100 个经领域专家多轮讨论标注的实例 | 标签：原论文实际做的实验，经专家标注 人类：无 |
En-F1（与原论文实验比对，无随机水平）：o3-mini 30.17 最高，GPT-4o 25.03，开放模型最好的 Qwen 2.5-72B 24.28；作者说模型既漏掉原文的实验，又加入原文没有的实验。与原文不同的合理实验也会被扣分 | 公开 数据、代码 MIT |
| AblationBench | Tel Aviv University、Bar-Ilan University（Abramovich & Chechik） 2025-07 · ICML 2026 workshop |
(b)·(3)。为论文规划消融：AuthorAblation 对照作者实际做的消融（62 篇测试论文），ReviewerAblation 对照审稿人要求补做的消融（300 篇 ICLR 投稿） | 标签：作者做过的消融和审稿人的要求，3 个 LM 裁判多数票匹配（与人工 κ 0.62） 人类：10 位 ML 博士生，各做 1 篇论文 |
两个任务的宏平均 F1（LM-Planner，无随机水平）：GPT-5.4 最高 0.35，其余模型 0.26–0.31。同一 10 篇子集上，人类 F1@5 0.66，GPT-5.4 0.43。论文结论写最佳 F1 0.30，与表 4 不一致 | 公开 数据、代码 MIT |
| AbGen | Yale、TCS Research（Zhao et al.） 2025-07 · ACL 2025 |
(b)·(3)。为 NLP 论文设计消融研究（目标加设置）；1,500 个专家标注样例来自 807 篇论文，人工评审其中 100 个；AbGen-Eval 另测 LLM 裁判是否可靠 | 标签：专家按重要性、忠实度、合理性打 1–5 分，每个输出 1 位专家 人类：2 位专家为 20 个样例写设计，盲混进评审 |
人工评审均分（1–5）：最好的 DeepSeek-R1-0528 4.11，18 个模型中最低的 Llama-3.3-70B 3.28；人类专家 4.80，原论文的消融 4.77。换 GPT-4.1-mini 当裁判时，各模型挤在约 4.65–4.96。人类基线只有 20 个样例 | 公开 数据、代码 未声明许可证 |
| Idea2Plan | University of Michigan、Microsoft Research（Huang et al.） 2025-10 · 预印本 |
(b)·(3)。把研究想法扩展成研究计划和实验设计，用从原论文抽出的二元 rubric 打分；200 篇 ICML 2025 论文作测试集，另扩展到 Nature Mental Health 和 ICML 2026 论文 | 标签：从原论文生成、经专家检查的 rubric，GPT-5 裁判（JudgeEval 准确率 0.943） 人类：无人类规划者；上限是拿到原论文的 o4-mini |
100 篇 ICML 2026 论文上（无随机水平）：GPT-5.5 62.0，加 Codex 检索后 75.1，上限 85.8；关键文献一节从 17.5 升到 40.5。rubric 按覆盖计分，计划越长往往分越高 | 未找到公开数据（论文给出的仓库链接返回 404） |
| ResearchPlanGen | Meta Superintelligence Labs 等（Goel et al.） 2025-12 · 预印本 |
(b)·(3)。按研究目标写研究计划，要满足目标的约束和隐含要求；前沿模型陪审团按 rubric 打分，另做专家两两偏好；公开测试集 2,645 个目标（ML、新 arXiv、PubMed） | 标签：LLM 抽取的 rubric（专家认可 84% 的条目）、LLM 陪审团和专家偏好 人类：无人写计划作对照；25 位专家评 100 个 ML 目标 |
专家在 70% 的研究目标上更偏好 RL 微调后 Qwen3-30B-A3B 的计划，而非微调前的模型（随机 50%）；作者称它与 Grok-4-Thinking 相当、落后于 GPT-5-Thinking。人类实验比较的是同一模型的两个版本 | 公开 数据 CC BY-NC，另受 Llama 4 许可约束 |
| SCOPE | Westlake University 等（Liu et al.） 2026-08 · 预印本 |
(b)·(3)。为 ML 论文的研究问题写结构化实验方案，LLM 裁判按 6 个子维度各 0–5 分打分（满分 30），有致命缺陷记零；300 个任务，选自 5,200 多篇 ICML、NeurIPS、ICLR 论文 | 标签：原论文的实际设计加 GPT-5.2 裁判；与 1 位专家在 60 个任务上 QWK 0.73–0.80 人类：无 |
总分（满分 30，无随机水平）：Claude 4.5 Sonnet 18.62 最高，Grok-4 12.55 最低，均值 14.81；联网检索没有提升设计质量。QWK 是在同样 60 个任务上反复调 rubric 得到的，裁判 GPT-5.2 也是被测模型 | 未找到公开数据 |
| EvalResearchBench | Oregon State University 等（Zhang et al.） 2026-10 · 预印本 |
(b)·(2)。agent 在 Codex 或 Claude Code 里、限定时间和 API 预算，设计一套评测（选任务、评分器、权重）并冻结，看它给 13 个候选模型的分数是否与 14 个目标基准一致；9 种研究者配置 | 标签：与既有目标基准公开分数的一致度（结局） 人类：人设计的 Random120 抽样，Score 13.10，PA 68.29% |
两两一致率（PA）最高约 75%（Grok 4.7，随机 50%），目标基准之间的分歧把上限定在 91%；8 个 agent 设计的评测中 7 个 Score 胜过 Random120，PA 上只有 4 个。每种配置只跑 1 轮，排名噪声大 | 部分公开 代码（只有框架和合成样例） 未声明许可证 |
五、判断想法与提案
跳转到“五、判断想法与提案”一节这一组判断想法或提案本身：新颖性、方法是否合理、可行性，以及专家更偏好哪一个。多数在结果出来之前判断，新颖性一类也有直接评整篇论文的（如 SchNovel、NovBench、NovGauge）。标签多来自专家、审稿人或作者本人，少数是构造或启发式的（如 SciStyleBench、SchNovel）；几项两两比较里人类彼此的一致率只有 53%–61%，但各研究的计算口径不同，模型分数只能和同一研究里的人类数字对照。不少基准的标签是审稿人读完整篇论文后给的，模型看到的却只是抽出来的想法。凡是用 LLM 裁判打分或出参考答案的，先看它的已知偏差，见怎么衡量研究品味。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| ★ SoundnessBench | Ho et al.（UMD） 2026-05 · ICLR 2027 投稿，在审 |
(b)·(3)。判断一份 ML 研究提案在方法上是否合理，高低二分类；1,099 份由 ICLR 2022–2026 投稿重建的提案（低 458、高 641） | 标签：ICLR 审稿人的 soundness 子分，均值 ≤2 为低、≥3 为高，中间剔除 人类：无 |
标准提示下，12 个 LLM（含 GPT-5.4、Claude Opus 4.6）平均把 74.0% 的低合理性提案判为合理；换成激进提示，误报降到 19.9%，高合理性的召回却从 91.8% 跌到 36.1%。无人类基线；提示词改变的是阈值，不是辨别力 | 公开 数据、代码 数据 Apache-2.0，代码未声明许可证 |
| ★ Bao et al. | University of Chicago 2026-06 · 预印本 |
(a)/(c)·(3)。科学家给由自己论文生成的 LLM 假设打分（新颖性、可行性、为真概率、是否采纳）；用留出的 5,000 对偏好检验 LLM 裁判和奖励模型；生物、医学、化学、社会科学 | 标签：6,749 位科学家的 25,139 组评分 人类：61.0%，独立 OpenReview 审稿人的两两一致率（审论文，不是评想法） |
随机 50%：o4-mini Deep Research 先打分再比较，在可行性、为真概率、新颖性上为 41% / 55% / 43%；直接二选一的 LLM 裁判为 53%–61%；用这些评分训练的 Qwen3-14B 奖励模型在生物学上达 62%–69%。被测裁判是 2025 年的模型 | 公开 数据与代码 Apache-2.0 |
| ★ RQ-Bench | Sinhahajari, Majumder & Poria（NTU） 2026-06 · ACL ARR 2026 投稿，在审 |
(c)·(3)。在“非显然性”上，比较由论文重建的参考研究问题与 GPT-5.5 五选一的最佳问题；1,434 个研究问题，专家研究只用 50 条（cs.CL / cs.LG） | 标签：2 位盲评的领域专家，加 LLM 裁判 人类：两位专家互相一致 60%；专家与裁判之间 22%–40% |
两位专家分别有 78% 和 56% 偏好参考问题；LLM 裁判相反，Gemini-3.1-Pro 82% 偏好 GPT-5.5 的问题，DeepSeek-V4-Pro 52%。参考问题由 Gemini-3.1-Pro 重建，它同时是裁判之一 | 公开 数据 MIT |
| ★ TASTE | Baig, Joren & Benton（Anthropic Fellows） 2026-08 · 博客 |
(c)·(3)。两份 AI 安全研究提案中，选出资深研究员偏好的那份；92 对，提案全部由 Claude Opus 4.6 生成 | 标签：10 位 AI 安全研究员两两讨论后的偏好，只留强置信、总分差至少 2 分的对 人类：估计一致率 77%；讨论前的原始一致率 53% |
随机 50%：Fable 5（max）60%，Kimi K3 59%，Opus 5 51%，Gemini 3.1 Pro 41%；几乎所有模型都在随机水平的 2 个标准差以内，单模型 CI 约 ±10 个百分点。没有测 Opus 5.5 和 Fable 5.1 | 申请获取 申请表 未声明许可证 |
| ★ Ideation Arena | Chen et al.（Fudan、Tsinghua、Zhongguancun Academy） 2026-08 · EMNLP 2026（据作者 README） |
(c)·(3)。研究者对 LLM 和研究 agent 框架生成的提案做双盲两两投票，再用这些票检验 14 个 LLM 裁判；6,441 条偏好记录 | 标签：105 位 CS 研究者的双盲投票 人类：专家两两一致率，总体质量 56.8%，新颖性 54.4%，可行性 53.8%（平局算半票） |
裁判对专家票的 soft accuracy 为 59.52%–72.56%（Gemini 3 Pro Preview 最高，随机约 50.6%）；生成方面 GPT-5.1 的 Elo 最高（1293.8）。72.56% 与专家一致率是不同集合上的不同指标，不能据此说裁判胜过专家 | 公开 数据、代码 数据 CC BY-NC 4.0，代码 PolyForm Noncommercial 1.0.0 |
| SciMuse | Gu & Krenn（Max Planck Institute for the Science of Light） 2024-05 · 预印本 |
(c)·(3)。110 位 Max Planck 课题组长给专为自己写的合作想法打兴趣分（1–5 分）；基准任务是预测哪些想法得高分，按 AUC 计；4,451 条评分 | 标签：每个想法只由它面向的那位课题组长打分 人类：7 位博士生写的 148 个想法混在 GPT 想法中，由 6 位物理方向的组长打分 |
预测高兴趣想法：论文中 GPT-4o 零样本 AUC 67.44%（随机 50%）；README 排行榜按 5,000 次对决算 AUC，口径不同，最高为 Gemini 2 Flash Thinking 0.6618（同榜 GPT-4o 为 0.6303）。同场对照中博士生想法 2.47 分，GPT-5.2 2.58（满分 5），差异不显著。人类对照很小，只有物理方向 | 部分公开（基准想法和专家排名不公开） 数据与代码 MIT |
| SchNovel | Lin et al.（Santa Clara University） 2024-09 · AISD 2025 workshop |
(c)·(3)。两篇 arXiv 论文中判断哪篇更新颖，两种顺序都问；15,000 对，6 个领域，发表时间相隔 2–10 年 | 标签：启发式，默认较晚发表的论文更新颖 人类：无 |
GPT-4o-mini 加 RAG-Novelty 的各领域平均准确率 0.58–0.73（随机 0.5），最好的基线 Self-Consistency 0.57–0.66；所有模型都有位置偏差，还偏向顶尖大学的论文。标签等于发表先后，模型可以靠时间线索取胜 | 公开 数据、代码 数据 MIT，代码未声明许可证 |
| GraphEval | Feng et al.（UIUC、Peking University） 2024-10 · ICLR 2025 |
(c)·(3)。只看标题和摘要，把想法分到 Reject / Poster / Spotlight / Oral；ICLR 测试集 50 篇，AI Researcher 集 66 个想法 | 标签：会议录用决定；Si et al. 的专家评审映射成决定 人类：无 |
ICLR 测试集上一律判 Reject 可得 64%：GraphEval-GNN 76.0%；直接提示 Mistral-7B、Qwen2-72B 只有 4%–20%，因为几乎不判拒。测试集很小，ICLR 2021–2023 的论文已在模型训练数据里 | 公开 数据与代码 MIT |
| Gupta & Pruthi | Tarun Gupta、Danish Pruthi 2025-02 · ACL 2025 |
(c)·(2)/(3)。13 位专家检查 50 份 LLM 生成的研究文档是否抄袭已有工作；另用 480 份 GPT-4o 改写的合成提案，测 LLM 和工具能否认出源论文 | 标签：专家打分，并经源论文作者核实；合成集的标签由构造得到 人类：无，专家本身就是测量工具 |
专家判定 24% 的文档属于改写或大量借用。合成测试中，手里有源论文时 LLM 能认出约 89%，改用 Semantic Scholar 检索（SSAG）只有 51.3%（Claude 3.5 Sonnet）和 68.5%（GPT-4o）。所测是 2024 年的模型 | 部分公开（合成提案未发布） 数据与代码 未声明许可证 |
| Beyond “Not Novel Enough” | Afzal et al.（TU Darmstadt、MBZUAI、AI2） 2025-08 · EACL 2026 |
(c)·(3)。为投稿生成结构化的新颖性评估，由 GPT-4.1 裁判看它与审稿人的推理和结论是否一致；182 篇 ICLR 2025 投稿 | 标签：审稿意见中的新颖性评价，由作者标注 人类：同一论文的两位审稿人之间，推理一致 65.1%，结论一致 62.8%，同样由 GPT-4.1 评定 |
作者的 GPT-4.1 流水线与审稿人推理一致 86.5%、结论一致 75.3%，高于审稿人之间；但在人工两两比较（共 100 次判断）中，对人类审稿意见只胜 36%、平 41%。评测集就是设计提示词时用的那 182 条，GPT-4.1 自己当裁判 | 公开 数据、代码 代码 Apache-2.0，数据许可证未核实 |
| ScholarEval | Moussa et al. 2025-10 · 预印本（ICLR 2026 投稿后撤回） |
(b)/(c)·(3)。为研究想法写评审意见，按覆盖了多少条专家评审要点打分；117 个想法、1,076 条要点，覆盖 AI、神经科学、生物化学、生态学 | 标签：由评审意见整理、经领域专家核验的要点 人类：无覆盖率基线；18 位专家做了 46 次有用性评价 |
要点覆盖分（Prometheus 打分）：以 Claude 为底座的 ScholarEval 2.77，OpenAI Deep Research 2.28；换成 GPT-5.1 底座只有 2.17，不比深度研究基线好。测的是评审覆盖了多少专家要点，不是判断对错，且由 LLM 裁判打分 | 公开 数据、代码 MIT |
| Zhang, Wang & Chen | Duke University 2025-11 · 预印本 |
(c)·(3)。63 位研究者分两轮给 AI 生成的想法打分（8 个维度），每轮都混入同一个由人写的对照想法，检验评分是否随时间漂移；7,938 条评分 | 标签：专家评分 人类：本研究就是人类可靠性基线，总体质量的重测 ICC 约 0.59–0.74 |
同一对照想法的总体质量评分在两轮间漂移，重测 ICC 0.586（95% CI 0.348–0.759）；按第一轮评分对齐的 LLM 系统，所得的一致性在考虑漂移后消失。测的是评分者稳定性，不是模型能力 | 公开 数据与代码 未声明许可证 |
| InnoEval | Qiao et al.（Zhejiang University 等） 2026-02 · ICML 2026 |
(b)/(c)·(3)。只看从论文抽出的想法，预测录用档次（二分类、三档、两两比较、四选一、排序）；ICLR 2025 和 NeurIPS 2025 的 217 个想法、372 对、172 组 | 标签：会议录用决定（Reject / Poster / Spotlight / Oral） 人类：无；另请专家给 60 个想法打分，只用于相关性检验 |
所有方法都用 DeepSeek-V3.2 底座：作者的 InnoEval 二分类 75.58%（一律判 Reject 为 61.3%），难的两两比较 63.00%（随机 50%）；直接 CoT 只有 40.55%，低于多数类。检索没有日期截止，不能排除检到想法本身 | 公开 数据与代码 MIT |
| RINoBench | Schopf & Färber 2026-03 · LREC 2026 |
(c)·(3)。给研究想法的新颖性打 5 档分并写理由，附相关工作摘要；1,381 个想法，测试集 277 个 | 标签：ICLR 2022/2023 审稿人的新颖性分取平均，只留审稿人分差不超过 1 分的投稿 人类：无 |
5 档 macro-F1 最高的是 GPT-5 17.2，所有模型在“不新颖”一档的 F1 都是 0.0；按测试集类别分布估算，均匀随机约 18.5，按类别比例猜约 20.0。随机水平是本站估算的，作者没有报告 | 公开 数据、代码 未声明许可证 |
| NovBench | Wu et al. 2026-04 · ACL 2026 Findings |
(c)·(3)。为论文写新颖性评价，按与作者自述的相关性、覆盖、清晰度和正确性自动打分；1,684 个 EMNLP 2023 论文与评审对 | 标签：审稿人的新颖性评价，由 GPT-4o-mini 抽取、GPT-4o 按正负面整理 人类：审稿人自己的评价在相关性上得 2.79（1–5 分） |
相关性（1–5）上通用 LLM 多为 3.0–3.7，高于人类评价的 2.79，这个指标奖励复述作者的说法；正确性（DistAcc，0–1）最高的是审稿微调模型 SEA-S 0.716，GPT-5 零样本 0.483。正确性只比较正负面比例 | 公开 数据与代码 未声明许可证 |
| Liu & Zhai | UIUC 2026-04 · 预印本 |
(c)·(2)。用冗余、相关、时间先后等公理构造二元排序探针，检验新颖性指标排序是否正确；10 个任务各 100 篇焦点论文，另用 ICLR 审稿分验证 | 标签：无，对错由公理定义；ICLR 审稿人的新颖性分只用于验证 人类：无 |
10 个系统基本能识别复制、改写这类表面冗余，识别不了概念冗余。在审稿人意见一致、分数处于两端的 ICLR 论文上（ICLR 2022、2023 各取最高、最低 100 篇），除 RAG-Novelty 外各系统与审稿新颖性分的相关绝对值不超过 0.18（AUC 0.42–0.62，随机 0.5）；RAG-Novelty 达 +0.69 / +0.58，但它的分数也能预测录用，只看已录用论文时所有系统的相关都消失。通过这些公理只是必要条件 | 未找到公开数据 |
| NovGauge | Zhang et al. 2026-06 · ACL ARR 2026 投稿，在审 |
(c)·(3)。判断两篇论文在任务、问题、方法上是否重叠并给出证据，按正确性、幻觉、推理支持逐级核查后的 Verified F1 计分；619 对论文、50 个多论文集合 | 标签：ICLR 审稿人的重叠指认和综述共引，经 3 位博士级标注者裁定 人类：无表现基线 |
18 个 LLM 中 GPT-5.5 最好，各维度 Verified F1 为 43%–72%；平均模型经忠实性过滤后只剩原始 F1 的 26%，答对且无幻觉的正例中超过 70% 引用的证据不支持所给理由。Verified F1 依赖 LLM 裁判，GPT-5.2 自评会抬高 GPT 模型的分数 | 公开 数据、代码 数据 CC BY 4.0，代码 MIT |
| SFBench | Costello et al.（Johns Hopkins APL） 2026-06 · 预印本 |
(b)·(3)。判断一条科学技术能力声明是否可行，给 5 档分并写解释；197 条材料科学声明，覆盖锂电池、航空合金、A15 超导、薄膜半导体 | 标签：10 位材料科学专家撰写，另一位专家复评 人类：专家间加权 kappa 第一轮 0.56，争议声明修改后 0.74（随机 0） |
加权 kappa：o1 0.460，o3 0.607，GPT-5 0.634，都低于专家最终的 0.74，GPT-5 介于第一轮的 0.56 和 0.74 之间。0.74 是修改争议声明后测的，高估了专家初次判断的一致性 | 公开 数据与代码 Apache-2.0 |
| Liu et al.（2607.25881） | Kavli IPMU、University of Tokyo 等 2026-07 · NeurIPS 2026 AI-Native Academia workshop |
(b)·(3)。8 个由专家给定的物理项目，人和 LLM 各写一页研究计划，由人和 LLM 盲评（4 个维度，1–5 分）并判断作者是人还是 AI；32 份计划 | 标签：4 位盲评审稿人，是论文作者中的教员或资深博士后，不一定是该题专家 人类：人写计划 3.52 分，AI 平均 3.51；识别作者的正确率 72%（人写）和 79%（AI 写），随机 50% |
LLM 审稿人都给 AI 写的计划多打约 1 分：Claude Opus 4.8 为 4.47 对 3.59，ChatGPT Pro 5.5 为 4.41 对 3.47；人类审稿人对两组打分相近。这两个模型认出了全部 32 份计划的作者。只有 8 个项目 | 部分公开（仅论文附录） |
| SciStyleBench | Ji et al. 2026-08 · 预印本 |
(b)/(c)·(3)。把同一想法改写成 15 种文风变体（包括掏空实质、植入缺陷的版本），看裁判打分跟着实质走还是跟着文风走；600 个想法，每种设置 9,000 例 | 标签：构造出的相对真值，内容不变只改文风，或刻意削弱实质 人类：无 |
4 个通用裁判直接打分，识别实质的比率 SRR 平均 0.504（平局算错，随机打分低于 0.5），各裁判从 0.02 到 0.86；改文风会让 top-5 到 top-30 的入选名单变化 4.6%–15.9%。没有测前沿闭源模型 | 部分公开（论文未引用的仓库，来源未确认） 数据 未声明许可证 |
| Trehan & Chopra | Lossfunk 2026-08 · COLM 2026 LM4Sci workshop |
(c)·(3)。在作者推荐的未来方向和取自相似论文的干扰方向之间二选一，两种顺序都问；来自 19 篇论文的 80 对 | 标签：作者推荐的方向 人类：试点 10 人在 23 对上作答，58/95 = 61.1% 选作者方向（可弃答，只见一种顺序） |
8 个 LLM 与作者的一致率为 45.0%–67.5%（两种顺序都选作者方向才算，随机 25%）；换提示词后分歧依然存在。只有 80 对，干扰方向由 Claude Sonnet 4.5 筛选 | 公开 数据与代码 MIT |
| DeepInstruct | Pei et al.（Tongji University、Westlake University 等） 2026-08 · COLM 2026 LM4Sci workshop |
(b)/(c)·(3)。把想法在新颖性、可行性、重要性上分成高中低三档，由档次推出两两比较；ICLR 2026 的 398 个想法、289 对；另有 147 个带专家分的想法（ExpertEval） | 标签：gpt-4o-mini 归纳 ICLR 2026 评审得到的档次，经人工逐条核对 人类：无；作为参照，ICLR 2026 审稿人两两完全一致只有 33.9% |
DeepSeek-V4-Pro 在新颖性、可行性、重要性上的两两准确率为 30.00%–42.64%，都低于 50%；作者的 DeepInstructor 在 ExpertEval 上把 ChatGPT-4o 的 Hit@±1 从 0.247 提到 0.491。论文没说平局怎么算，低于 50% 难以解读 | 部分公开（不含 DeepInstruct 本身） 数据、代码 未声明许可证 |
| LigBench / PAIR-IQ | Wang et al.（Shanghai Jiao Tong University 等） 2026-08 · 预印本 |
(c)·(3)。LLM 裁判两两比较想法，对照去偏后的 OpenReview 分（总体评分、贡献、合理性、新颖性），再用裁判给想法生成器打分；PAIR-IQ 含 11,164 篇论文 | 标签：去除会议偏差后的 OpenReview 审稿分 人类：几位博士级研究者比较 100 对想法，与 LLM 裁判一致 71% / 79% / 73%（总体评分 / 贡献 / 合理性） |
裁判两两准确率（随机 50%）：GPT-5 在总体评分、贡献、合理性上为 0.820 / 0.695 / 0.826，Gemini-3-pro 为 0.806 / 0.713 / 0.814。生成器得分是相对参照池迭代出来的，不能跨论文比较 | 公开 数据 未声明许可证 |
| Old Ideas, Novel Problems | Sternlicht et al. 2026-10 · ACL ARR 2026 投稿，在审 |
(c)·(3)。两个想法中判断哪个更新颖（两种顺序都问，允许平局），以及单个想法是否新颖；ICLR 2026 投稿，每种两两设置 154 对 | 标签：ICLR 2026 审稿人对原创性的共识，结合录用决定；生成的想法弱标注为较不新颖 人类：无表现基线；1 位教授盲评 30 对，全部同意标签 |
随机 50%：提示里加一句“审稿人认为其中一个想法新颖”，同样的想法对有一半以上会翻判，gpt-5.4 在人写对生成的配对上严格准确率变化 52.6 个点、跌破 50%；claude-opus-4-6 最多在 35% 的对上判平。这是设计选择研究，不是排行榜 | 公开 数据、代码 数据 CC BY 4.0，代码 MIT |
| IdeaRewardBench△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(c)·(3)。两个研究想法中选出更好的一个；3,185 个偏好实例，每半年更新 | 标签：评审信号（review-grounded 子集）和后续影响信号（impact-grounded 子集） 人类：未提及 |
23 个基线中最好的在评审子集上 62.8%，影响子集上 60.9%（随机 50%）；作者自己训练的 IdeaReward 模型称达到最好。只核对了摘要，基准与被评的奖励模型出自同一团队 | 不公开（作者称发表后公开） |
六、评审成稿与资助申请
跳转到“六、评审成稿与资助申请”一节这一组判断已经写成的论文或资助申请；和上一组不同，被评的论文通常已经包含结果。标签多是会议录用决定、审稿分或资助结果，这些标签本身噪声很大，而且录用决定正是由审稿分产生的，拿审稿人自己当人类对照会有循环。较早的论文和公开评审很可能已在训练集里，读数时要对照数据年份和被测模型的知识截止。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| PeerRead | Kang et al.（CMU、AI2） 2018-04 · NAACL 2018 |
(b)/(c)·(3)。根据论文稿预测录用与否，另预测审稿的各项分数；14.7K 篇稿件（ACL、NIPS、ICLR、CoNLL 和 arXiv），10.7K 份审稿 | 标签：会议录用决定；arXiv 部分按启发式标为“已录用”或“可能被拒” 人类：无，只有多数类基线 |
基于特征的分类器对多数类：ICLR 2017 为 65.3% 对 57.6%，arXiv cs.cl 为 75.7% 对 68.9%，错误率最多降低 21%。2018 年的经典模型，数据肯定已在 LLM 训练语料里 | 公开（部分子集只给下载说明） 数据与代码 未声明许可证 |
| AI Scientist 自动审稿 | Lu et al.（Sakana AI 等） 2024-08 · 预印本 |
(b)/(c)·(3)。LLM 给整篇论文打分，按阈值换成录用或拒稿；500 篇 ICLR 2022 论文 | 标签：ICLR 2022 录用决定（OpenReview） 人类：借用 NeurIPS 2021 一致性实验，平衡准确率 0.66 |
GPT-4o（1-shot，阈值 6 分）平衡准确率 0.65（随机 0.50，人类 0.66），假阳性率 0.31，人类为 0.17；未校准的 Claude Sonnet 3.5 只有 0.52。人类基线来自另一个会议和另一批论文 | 公开 数据、代码 代码 The AI Scientist Source Code License v1.0 |
| ReviewerToo | Sahu et al. 2025-10 · 预印本（ICLR 2026 投稿未录用） |
(b)/(c)·(3)。多个审稿 persona 加一个汇总的元审稿人，做录用二分类和五档决定；ICLR-2k，1,963 篇 ICLR 2025 投稿 | 标签：ICLR 2025 录用决定 人类：审稿人自己的建议对照最终决定，平均 83.9%，前 1% 为 92.4%；决定本就由这些分数产生 |
gpt-oss-120b 汇总所有 persona 后，录用二分类准确率 81.8%（一律拒稿约 54.5%，人类平均 83.9%），单个 persona 约 70%。各版本数字不一致，OpenReview 修订版改报 F1 79.3% 对 83.8% | 公开 数据 CC BY 4.0 |
| Sandström & Thelwall | KTH 等 2026-03 · 预印本 |
(c)·(3)。LLM 给资助申请打分，看与专家平均分的 Spearman 相关；142 份 1994 年瑞典医学研究委员会博士后申请（Wennerås & Wold 数据） | 标签：同行评审专家的打分 人类：审稿人之间的相关，约 0.59（本站按“0.33 约为其 56%“推算） |
LLM 与专家平均分的相关平均 0.22（随机 0）；最好的是只看标题和摘要的 Gemma 3 27b，0.33，约为审稿人之间相关的 56%。只测了开源模型，瑞典语申请经机器翻译 | 申请获取（未随论文发布） |
| LLM-as-a-Reviewer | Li et al.（University of South Florida 等） 2026-05 · ACL ARR 2026 投稿，在审 |
(b)/(c)·(3)。12 个 LLM 按固定格式审整篇论文，与官方审稿比较评分偏差、关注点和文风，并测隐藏提示注入；898 篇 NeurIPS 2022、ICLR 2023、ICLR 2025 论文 | 标签：OpenReview 官方审稿（平均评分、置信度和文本） 人类：无，人类审稿只作参照 |
多数模型打分高于人类审稿，Llama-3.3-70B 高 1.50–2.43 分，GPT-5.4 低 0.45–0.54 分。原本低于 8 分的论文，加入隐藏提示注入后升到 8 分及以上的比例：GPT-4o-mini 67.30%，GPT-5.4 1.78%。只看均值偏差，没有相关或准确率 | 公开 数据与代码 MIT |
| ReviewArena | Samarth P et al. 2026-05 · ICML 2026 AI4Science workshop |
(b)/(c)·(3)。按各会议原生的评分量表生成评审，测评分误差、ICLR 录用二分类和录用与拒稿的分差；ReviewArena-Eval 1,002 篇，来自 6 个会议 | 标签：审稿分和录用决定 人类：无 |
6 个开源模型的 ICLR 录用二分类 macro-F1 从 0.394（Gemma-4-26B，几乎全判录用）到 0.722（GLM-5.1）；只有 GLM-5.1 的录用与拒稿论文有可用的分差（1.40 分）。数字取自作者的数据集卡，没有读到 workshop 论文 | 公开 数据 评测集未声明许可证，主语料 CC BY 4.0 |
| 多智能体资助评审△ | 匿名 2026-06 · ACL ARR 2026 投稿，在审 |
(c)·(3)。区分获资助和被拒的申请，比较多智能体评审与单次调用、算力对齐的基线；455 份结果已知的真实申请 | 标签：实际资助结果 人类：无 |
5 月版本在混合语料上 ROC-AUC 0.55（随机 0.5），主要来自长度和来源混杂，按来源控制后接近随机；10 月版本称多智能体架构和各组件都没有可靠增益。只核对了摘要 | 未找到公开数据 |
| AIPR | Georgantas（AIPR 创始人） 2026-06 · 预印本 |
(b)/(c)·(3)。商用系统给整篇稿件打 0–100 分，检验能否区分拒稿与录用，以及与审稿人均分的相关；300 篇 ICLR 2026 投稿 | 标签：ICLR 2026 录用档次和审稿人平均分 人类：无 |
拒稿对录用的 AUROC（随机 0.5）：AIPR 用 GPT-5.4-mini 为 0.82（n = 300），用 GPT-5.4 为 0.87（n = 100）；一段话的直接提示（GPT-5.4）已有 0.80，流水线的增益没有达到预注册标准。作者评测的是自己的商用系统 | 公开（评分函数不公开） 数据与代码 MIT |
| Camelo-Guerrero & Diaz-Rodriguez | Abraham Camelo-Guerrero、Jairo Diaz-Rodriguez 2026-08 · 预印本 |
(b)/(c)·(3)。三个 LLM 按 ICLR 的推荐量表给论文打分，比较口头报告、海报和拒稿三档；300 篇按主题匹配的 ICLR 2026 投稿，每档 100 篇 | 标签：ICLR 2026 录用决定和审稿人评分 人类：同批论文的人类评分中位数，拒稿 4.0、海报 5.33、口头 6.5；这些评分决定了结果 |
GPT-5.4、Gemini 3.1 Pro Preview、Claude Opus 4.6 都给录用论文打分更高（中位数 6 对 4，Gemini 为 8 对 6，人类 6 对 4），但都分不开口头报告和海报（校正后 p 为 0.256–0.809），人类评分能分开。没有报告准确率或 AUC | 未找到公开数据 |
| Thelwall et al. | Mike Thelwall 等 2026-09 · 预印本 |
(c)·(3)。LLM 给资助申请打 1–6 分，看与评审专家和资助小组打分的秩相关；2,267 份 2023 年 UKRI ESRC、EPSRC 申请，只含愿景和方法部分 | 标签：原评审专家和资助小组成员的打分 人类：评审专家之间平均相关 0.24，小组成员之间 0.38 |
最好的 Gemma 3 27B 与单个评审专家的相关 0.19，低于专家之间的 0.24；与单个小组成员 0.14，低于成员之间的 0.38（随机 0）。只测了中等规模的开源模型；只用开源模型是资助方的条件 | 不公开（只能在 UKRI 的隔离云环境中访问） |
| The Grade Says Little△ | Lu & Yang（Georgia Tech） 2026-10 · NeurIPS 2026 AI-Native Academia workshop |
(b)/(c)·(3)。固定的五模型审稿小组给 ICLR 2026 投稿评级，看能否还原会议的排序，并检查重跑和换呈现方式时是否稳定；2,972 份审稿 | 标签：ICLR 2026 录用决定和 rebuttal 后的评分 人类：无，以会议评分为参照 |
对被拒论文的 rebuttal 后排序，ρ = +0.595（AUC 0.820，随机 0.5）；但绝对等级几乎没有信息，480 次基线读数只给过 1 次最高等级，重跑噪声大于相邻论文分差的中位数。只核对了摘要，摘要没说 AUC 区分的是什么 | 未找到公开数据（摘要称已发布） |
七、预测影响力
跳转到“七、预测影响力”一节这一组让模型预测哪篇论文、哪个研究问题或哪份研究构想后来影响更大，标签取自引用、奖项、期刊层级、后续进展这类事后信号。这些信号混入了主题热度和声望，按主题匹配之后准确率可能明显下降，所以先要看基准有没有控制主题。另一个要看的是时间切分：测试材料早于模型的训练截止时，获奖或高引的作品可能已被模型记住。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| ★ SciJudgeBench | Tong et al.（Fudan / OpenMOSS） 2026-03 · 预印本 |
(c)·(3)。只看两篇论文的标题和摘要，预测哪篇引用更多，交换顺序后仍答对才算对。测试 1,000 对（领域和时间匹配），另有按主题匹配的 245 对 | 标签：引用数（结局）；OOD 测试另用 ICLR 评审分和 Altmetric 人类：无 |
1,000 对上 SciJudge-Qwen3-30B 82.7%，未经引用训练的 GPT-5.4 Thinking 81.6%；按主题匹配的 245 对上，训练后为 62.9%（基座 52.2% / 53.1%）。GPT-5.4 在这 245 对上未报告 | 公开 数据 Apache-2.0 |
| ★ Gong, Li & Zhou | Tsinghua 2026-03 · 预印本 |
(c)·(3)。只给研究 pitch（问题和框架，去掉方法、结果、期刊和作者），判断它最终发表在 4 档期刊中的哪一档。8 个社科领域共 1,520 个 pitch | 标签：实际发表期刊的层级（结局），层级由领域专家事先划定 人类：管理学 48 位期刊编辑和编委，每个 pitch 约 3.2 次评分取多数票 |
管理学 4 档（随机 25%）：SFT 后的 Qwen3-4B 59.2%，11 个前沿推理模型平均 31.1%，编辑多数票 41.6%；改成两两比较时前沿模型为 74%–78.7%。人类评分者间 Fleiss κ 只有 0.03–0.05 | 公开 数据与代码 数据 CC BY 4.0，代码 MIT |
| Impact4Cast | Gu & Krenn（Max Planck Institute for the Science of Light） 2024-02 · Machine Learning: Science and Technology |
(c)·(3)。在自然科学的概念知识图谱上，预测尚未相连的概念对日后能否成为高引用的组合（二分类，AUC）。主评测集各 1,000 万个概念对 | 标签：含该概念对的论文在 OpenAlex 上的引用（结局） 人类：无 |
新相连概念对的影响力预测 AUC 超过 0.8，多数超过 0.9（随机 0.5）；区分 0–5 次与 100 次以上引用的较难任务，测试集 AUC 超过 0.7、评估集超过 0.67。只测了基于手工特征的 ML 模型，未测 LLM | 公开 数据、基准数据、代码 数据 CC BY 4.0，代码 MIT |
| TastyBench | Mahajan et al. 2025-12 · 博客（LessWrong） |
(c)·(3)。两两比较 LLM 提取的论文核心想法，排出 Elo 名次，与 15 个月引用增速的排名对照。38 篇 2024 年 1–3 月用 RL 提升 LLM 推理的论文 | 标签：引用增速（结局） 人类：无 |
Claude Sonnet 4.5、Gemini 2.5 Pro、GPT 5.1 和几个较弱的开源模型预测引用增速都同样无效，换提示词也一样。只有 38 篇论文，作者称引用增速是 “a flawed proxy” | 公开 数据与代码 未声明许可证 |
| Proof of Time | Ye et al.（Harvard 等） 2026-01 · 预印本，在审 |
(c)·(3)。只用截止日前的离线证据，预测 NLP 论文的引用和获奖档次、教授研究走向和 benchmark 进展，比较零样本与工具 agent。各任务 9–200 题 | 标签：截止日之后的引用、奖项、发表和排行榜（结局） 人类：无 |
截止后获奖档次 4 选 1（均匀随机 25%，类别先验未报告），agent 设置：Gemini 2.5 Pro 33.6%，GPT-5.1 32.0%，Claude Opus 4.5 23.1%。精确匹配计分，几个近零分可能是格式或预算失败 | 公开 数据与代码 MIT |
| SciImpact | Zhu et al.（Texas A&M 等） 2026-04 · ACL 2026 Findings |
(c)·(3)。两两比较论文、GitHub 代码库、Hugging Face 数据集或模型，预测哪一个后来影响更大。19 个领域、7 个影响维度，共 215,928 对 | 标签：引用、奖项（含最佳论文和诺贝尔奖）、专利、媒体报道、star 和下载量（结局） 人类：无 |
7 个维度平均准确率（随机 50%）：o4-mini 0.642，Claude-haiku-4.5 0.634；多任务 SFT 的 Qwen3-4B 0.685，超过所有现成模型。没有时间切分，获奖或高引作品可能已被模型记住 | 公开 数据与代码 Apache-2.0（仓库），数据未单独声明 |
| SciTaste-Bench△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(c)·(3)。让 LLM 按 7 个维度的“学术品味指数”评价论文的科学价值，比较纯问答、原生搜索和工具 agent 等模式。6 个学科共 300 篇论文 | 标签：用 NASA ADS、OpenAlex 和 arXiv 元数据构建的文献计量指数，金标准构造未详述 人类：未提及 |
摘要没有数字。10 个 LLM 中，工具化的结构化评估通常好于无工具和直接联网搜索，但提升因模型而异；物理最容易，化学、生物、医学最难。只核对了摘要 | 未找到公开数据 |
| ConjectureLineage△ | He et al. 2026-10 · NeurIPS 2026 MATH-AI workshop |
(c)·(3)。给代数猜想和问题打分排序，预测哪些在之后 3 年里得到跟进（AUROC）。586 个猜想和问题 | 标签：有记录的 3 年后续进展（直接进展、相关贡献，外加一小项关注度），专家审核、LLM 辅助 人类：未提及 |
冻结的 GPT-Neo（1.3B）特征加 logistic 读出层 AUROC 0.7040，未训练的读出层 0.4914（随机 0.5）；摘要称它在评审后的跟进分上比 12 个 LLM 都准，但没给出这些 LLM 的数字。只核对了摘要 | 未找到公开数据 |
八、预测领域走向
跳转到“八、预测领域走向”一节这一组让模型预测或生成领域接下来会做什么，比如哪些概念会被组合、哪些想法会被发表、注意力会流向哪里，再用截止日之后发表的文献打分。多数是回溯设计，测试期若早于模型的训练截止就可能泄漏；少数采用前瞻设计，先冻结预测，一年到几年后再评。读数时先看有没有和移动平均、趋势延续这类简单统计外推比较，领域惯性强时这类基线可能很难超过。还要记住，预见了社区后来的共识，不等于选对了重要的问题。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| ★ Historical Backtesting | Hui Mao（独立研究者） 2026-08 · 预印本 |
(c)·(3)。生成研究问题后冻结，再看时间隔离的未来文献是否回答、部分涉及或独立提出了它们，或推翻了其前提。天文学试点；另有 200 个问题已冻结，2027–2030 年评分 | 标签：gpt-4.1 裁判按引文判定，只有试点条目经过人工裁定 人类：无提问基线；两位盲评者在结局标签上 κ 只有 0.17 |
v1L（n=125）中被后续文献涉及的比例：随机模板 73%，直接用 LLM 96%（p 小于 1e-4）；LLM 问题被回答的比例在训练截止前后持平，作者称之为记住了相关性、没有具体预见。单作者、单一领域 | 公开 数据、代码 Apache-2.0（基准）、MIT（框架） |
| ★ IdeaForecastBench | Li et al.（UIUC） 2026-09 · EMNLP 2026 |
(c)·(3)。按主题和截止月份生成最多 5 条排序的想法预测，与之后约 3 个月的 cs.ML 论文匹配。52 个主题 × 12 个截止点，共 624 个 episode | 标签：LLM 裁判（主要是 GPT-4.1-mini）把预测匹配到后来的论文 人类：无；辅助的人工匹配研究中 Fleiss κ 仅 0.135 |
Hit@5（GPT-4.1-mini 裁判）：Summary 提示下 GPT-4.1 0.756，Qwen2.5-7B 0.949；直接提示的结果不如 Topic Trend 启发式。无随机水平；匹配宽松，预测越宽泛越占便宜 | 公开 数据、代码 代码 MIT，语料沿用各论文的 arXiv 许可 |
| Science4Cast | Krenn et al.（Max Planck Institute for the Science of Light 等） 2022-09 · Nature Machine Intelligence |
(c)·(3)。在 AI/ML 论文构成的概念网络上，预测哪些尚未相连的概念对会在 1、3 或 5 年后共同出现（AUC）。64,719 个概念、18 个任务数据集 | 标签：概念对日后在 arXiv 标题和摘要中共现（结局） 人类：无 |
10 种统计和图 ML 方法：新链接 AUC 最高 93%（arXiv v1），至少形成 3 次的链接 AUC 超过 99.5%（随机 50%）；只用网络特征、不用 ML 也有竞争力。未测 LLM，预测的是共现而不是重要性 | 公开 数据、代码 数据 CC BY 4.0，代码 MIT |
| PreScience | Ajith et al.（Allen Institute for AI 等） 2026-02 · 预印本 |
(c)·(3)。按时间切分，预测 AI 论文的贡献、合作者、引用的前人工作、12 个月引用量和主题份额变化，共 7 个任务。98K 篇目标论文 | 标签：后来的论文、作者和引用（结局）；贡献由 gpt-5 按 LACER 打分 人类：无；LACER 与专家的 τ 0.57，专家间 0.53 |
贡献生成 LACER（1–10；随机同类论文 1.27，随机一篇有影响的参考文献 4.31）：GPT-5 5.64，Claude Opus 4.5 5.04，带完整历史的 GPT-5 agent 5.86。部分模型的知识截止晚于测试期起点 | 公开 数据、代码 数据 ODC-BY，代码 Apache-2.0 |
| HindSight | Bo Jiang（Temple University） 2026-03 · 预印本 |
(c)·(3)。用截止日前的文献生成想法，按嵌入相似度匹配之后 30 个月的论文，按匹配论文的引用和顶会录用打分，再与 LLM 裁判的评分对比。200 个想法 | 标签：匹配论文的引用和发表场所（结局，嵌入匹配）；对比用 Qwen3-32B 裁判 人类：无 |
裁判给检索增强与普通想法的总分无显著差别（7.44 vs 7.40），HindSight 分数则是 0.297 vs 0.119（2.5×）；检索增强组内它与裁判新颖性分 ρ = −0.29。倍数随相似度阈值在 1.1×–3.8× 间变化 | 未找到公开数据 |
| FAS | Wang et al.（UIUC） 2026-03 · EMNLP 2026 Findings |
(b)/(c)·(3)。给定研究问题，生成含假设、方法和实验细节的提案，检索 2025 年论文后由 LLM 裁判打 Future Alignment Score。819 个测试实例 | 标签：2025 年论文加 LLM 裁判（默认 GPT-4.1-mini） 人类：由目标论文整理出的提案，3 位研究生专家比较 60 对 |
FAS（无随机水平）：SFT 把 Qwen2.5-14B 从提示基线的 63.0 提到 69.7；与人类提案相比，调优模型 25 胜 10 平 25 负。只测了小型开源模型 | 公开 数据与代码 未声明许可证 |
| CKM | Tao et al.（TsingyuAI 等） 2026-04 · ICML 2026 AI4Research workshop |
(c)·(3)。用滑动时间窗内的文献生成假设，看能否匹配窗口之后发表的论文，LLM 裁判给 6 分及以上（满分 10）算命中。50 个 ML 主题 | 标签：之后的论文，由跨厂商 LLM 裁判判定（GPT-4o-mini 初筛，GPT-4o 复判） 人类：无 |
CKM-Lite 在 72%（36/50）的主题上至少有一条假设被验证，一次性生成基线为 30%；命中平均比匹配论文早 404 天。“验证”只表示 LLM 判定它与某篇后来的论文相符，系统作者自评 | 公开 数据与代码 MIT |
| COMPOSE | Busbib & Werman（Hebrew University of Jerusalem） 2026-05 · 预印本 |
(c)·(3)。给一篇数学锚点论文，生成之后可能出现的定理式结论，看能否从 2024–2025 年的 47K 篇论文中检索到真实的后续论文（Hit@k）。2K 测试集 | 标签：后来的论文；另用早于基准期的 GPT-4.0 版本作 LLM 裁判 人类：无 |
Hit@10：COMPOSE（DeepSeek-Math-7B）0.508，CoI-GPT 0.410，固定近邻检索 0.068（随机约 0.0002，即 0.02%，本站估算）。论文两张表里 Prompt-only 的数字不一致 | 不公开 代码 MIT（代码） |
| ForeSci | Tian et al.（Southeast University 等） 2026-05 · 预印本 |
(c)·(3)。只用截止日对齐的离线知识库（禁止联网），回答方向预测、瓶颈发现、研究规划和投稿定位 4 类问题，用截止后的论文打分。4 个 AI 领域共 500 题 | 标签：截止后的论文整理成目标（人机流程，专家确认），LLM 匹配打分 人类：无 |
未来对齐度 FTA（0–1）在 4 个 backbone × 5 种方法上为 0.586–0.657，GPT-5.2 原生 0.619、加 ARIS 0.648；agent 多提高可追溯性和说服力。无随机水平，指标由 LLM 或代理模型打分 | 公开 数据与代码 未声明许可证 |
| TrACE△ | 匿名 2026-06 · ACL ARR 2026 投稿，未见录用记录 |
(c)·(3)。看生成的假设是否沿主题从过去到未来的方向移动，用免训练的嵌入指标（Trend Alignment、Progression）计分。2010–2024 年的 AI 论文 | 标签：后来论文的嵌入（结局） 人类：无，以真实的未来想法为参照 |
摘要没有数字。LLM 和 RAG 生成的假设部分朝未来方向移动，但在留一评估下仍不如真实的未来想法；RAG 不稳定，有时把模型锚定在过去的工作上。只核对了摘要 | 未找到公开数据 |
| RAP | Wu et al.（Fudan / Oxford 等） 2026-09 · 预印本 |
(c)·(3)。agent 只能检索截止前的 arXiv，预测某领域 8 个方向未来 6 个月的论文份额，按 Spearman 计分。278 个领域、1,390 个 episode | 标签：实际的论文份额（结局），方向归属由冻结的 LLM 规则判定 人类：无；对照是 EWMA、ARIMA 等统计基线 |
Spearman（均匀预测 = 0，可靠性上限约 0.91）：统计基线 EWMA 0.803，最好的 agent GPT-5.5 0.595；自然设置下没有 agent 超过 EWMA。测的是注意力份额，不是重要性 | 不公开 |
| BackTrend | Zhou et al.（Yale NLP Lab 等） 2026-09 · EMNLP 2026 Findings |
(c)·(3)。只用 2019–2023 年的证据，为 2024 年已成熟的 AI 主题找出早期弱信号（问题或方法），与人工验证的参考信号匹配。25 个主题、66 个弱信号 | 标签：发文量轨迹加两位研究者验证（κ 0.75）；匹配由 Claude-Opus-4.8 和人工判定 人类：无 |
最好的 DeepSeek-R1-0528 集合级 F1 只有 10.1%，7 个系统为 4.4%–10.1%，Coverage@10 最高 18.5%；GPT-5.4 不是最好的。无随机水平，参数模型的截止只靠提示词约束 | 公开 数据、代码 数据 CC BY 4.0，代码 Apache-2.0 |
| GapBench-3△ | Vicens Ramis et al.（TU Munich 等） 2026-10 · NeurIPS 2026 AI4MetaScience workshop |
(c)·(3)。预测 AI 领域接下来会跑哪些（方法、数据集、任务）组合，按 MRR 计分；另有封存的未来窗口，200 条预测待 2027 年 7 月评分。680,502 篇论文 | 标签：后来论文实际跑过的配置（结局） 人类：无 |
在可见时间范围内，训练让 MRR 提高 0.19，到封存的真实未来上优势消失；那里冻结的 2020 年文本嵌入仍未被任何学习系统（含 14 个复现方法族）超过。测的是链接预测系统，不是 LLM agent；只核对了摘要 | 未找到公开数据 |
| ResearchMirror△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(c)·(3)。用冻结的 2025 年文献快照生成研究提案，与 2026 年的论文做引用匹配和想法匹配，再请专家盲评。4 个研究领域、超过 90,000 份提案、6 个模型 | 标签：后来的论文（结局）加专家盲评 人类：以人类社区 2026 年的论文为参照水平 |
引用匹配约为人类水平的 26%，想法匹配约 18%；更多上下文或更大的 agent 群体都没有明显缩小差距。盲评专家认为 AI 提案读起来接近 2026 年论文，但成功可能性低得多。只核对了摘要 | 未找到公开数据 |
| SciEvoBench△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(c)·(3)。给定方法和某一时点的文献记录，预测 3 个月内是否出现后继方法（Event），以及改动哪一部分、用什么机制（Content）；分静态和交互两种模式。摘要未给规模 | 标签：后来论文中实际出现的方法演化关系（结局） 人类：摘要未报告 |
摘要没有数字。交互访问让部分模型更能判断事件是否发生；找出改进方向比预测后继机制容易。Qwen3.5-9B 在交互模式下匹配到更多机制，但目标窗口内的命中没有可靠提升。只核对了摘要 | 未找到公开数据 |
九、生成想法与假设
跳转到“九、生成想法与假设”一节这组基准让模型提出研究想法或假设，再给产出打分。标签大多来自两处：LLM 裁判按新颖性、可行性等维度打分，或者看产出与某篇已发表论文的想法有多接近（重发现）。重发现标签奖励向已发表想法靠拢，LLM 裁判的分数会随裁判而变，两者都不直接衡量想法执行后的价值；只有少数基准让人真正执行想法，或在隐去的数据上检验假设的推论。读数时先看谁打的标签（LLM 裁判的已知偏差见怎么衡量研究品味），再看目标论文是否晚于被测模型的训练截止。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| ★ Si, Yang & Hashimoto | Stanford 2024-09 · ICLR 2025；执行研究为 ICLR 2026 poster |
(c)·(3)。盲评专家和 LLM agent 写的 NLP prompting 研究想法；Ideation–Execution Gap 再把 43 个想法随机分给研究者执行，执行后重评；每组 49 个想法 | 标签：NLP 研究者盲评（1–10 分），执行前后各一次 人类：专家写的想法同场对照；审稿人分半一致率 56.1%（随机 50%） |
执行前 AI 想法的新颖性高于专家想法（5.64 vs 4.84）；执行后 AI 想法总体分降 1.98，专家想法降 0.63，四项降幅差异都显著。agent 基于 2024 年的 claude-3-5-sonnet，只覆盖 NLP | 公开 数据、代码 MIT |
| SciMON | Wang et al.（UIUC、AI2 等） 2023-05 · ACL 2024 |
(c)·(3)。从论文背景生成研究想法，按时间切分，以后来论文的想法为金标准，另请专家评相关性、有用性、新颖性和技术深度；NLP 金标准测试 194 条 | 标签：后来论文的想法；有领域知识的标注者 人类：真实论文的想法作参照 |
对照真实论文的想法，85% 的比较中真实想法的技术水平和新颖性明显高于 GPT-4 的想法（其余 15% 难分）。2023 年的模型，人类评估规模小 | 公开 数据、代码 Apache-2.0 |
| LLM4BioHypoGen | Qi et al.（Tsinghua） 2023-11 · COLM 2024 |
(a)/(c)·(3)。从生物医学背景段落生成假设，比较零样本、少样本、微调、工具和多 agent 设置；未见测试集取 2023 年 8 月的论文，共 200 对 | 标签：论文中的假设；GPT-4 与 3 位专家打分（0–3） 人类：无人类假设对照 |
未见集上各模型的专家评分（0–3）平均约 1.8–2.3，如 Llama-2-70b-chat 5-shot 为 2.33；GPT-4 与专家评分的相关超过 0.7。无随机水平，测试论文已在现有模型的训练数据内 | 公开 数据、代码 未注明许可证 |
| Kumar et al. | IIT Patna、ORNL 2024-09 · EMNLP 2025 |
(c)·(3)。删去论文的未来工作部分，让模型提出后续想法，用 IAScore 衡量与作者原写的未来工作是否一致；5 个领域 1,250 篇论文 | 标签：作者写的未来工作；源论文作者评分 人类：无人类想法对照 |
源论文作者评 660 个 CS 想法：GPT-4 只有 7.83% 被判不新颖、93.34% 被判相关；Claude 分别为 14.78% 和 76.67%。无随机水平，IAScore 奖励与作者原计划一致 | 公开 数据、代码 MIT |
| MOOSE-Chem | Yang et al.（NTU、Shanghai AI Lab） 2024-10 · ICLR 2025；MOOSE-Chem2 为 NeurIPS 2025 |
(b)/(c)·(3)。给出化学研究背景，从文献中检索灵感、组合成假设，对照已发表假设打 0–5 分；MOOSE-Chem2 再补实验细节；51 篇 2024 年 1 月后上线的论文 | 标签：化学博士标注的已发表假设；专家或 GPT-4o 打分 人类：无生成对照；专家之间完全一致 0.438 |
真实设定下，51 篇中没有一篇得到专家 5 分（满分），2 篇得 4 分；直接给出真实灵感时才有 9 篇得 5 分。GPT-4o 裁判通常比专家高 1–2 分 | 公开 数据、代码 MIT |
| Chain-of-Ideas Idea Arena | Li et al.（DAMO Academy, Alibaba） 2024-10 · EMNLP 2025 Findings |
(c)·(3)。为 AI 研究主题生成想法和实验设计，在 arena 中按两种顺序两两比较，用 Elo 汇总，真实论文的想法也作为参赛者；50 个主题 | 标签：GPT-4o 裁判；10 位研究者作人类裁判 人类：真实论文的想法参赛 |
人类裁判下的想法 Elo：Real Paper 1100 居首，CoI 1085，AI-Scientist 812；GPT-4o 与人类在胜负上一致 70.8%（随机 50%）。所有系统都基于 2024 年的 GPT-4o，Elo 依赖参赛池 | 公开 数据、代码 Apache-2.0 |
| IdeaBench | Guo et al.（University of Virginia） 2024-10 · KDD 2025 |
(c)·(3)。给出有影响力论文引用的参考文献，让模型重建它的核心想法；GPT-4o 排序器把生成想法与真实想法一起排序，换算成 Insight Score；2,374 篇生物医学目标论文 | 标签：GPT-4o 排序器，以目标论文的想法为参照 人类：无 |
多数 LLM 的新颖性 Insight Score 超过 0.6，GPT-4o（high-resource）0.766，即生成想法通常排在真实论文的想法之上；可行性一贯更低。标签来自 LLM 裁判，目标论文早于现有模型的训练截止 | 公开 数据、代码 未注明许可证 |
| LiveIdeaBench | Ruan et al.（Renmin University of China 等） 2024-12 · Nature Communications |
(c)·(3)。只给一个领域关键词、不给研究背景，让模型自由生成想法；动态的 LLM 评审组按原创性、可行性、流畅性、灵活性和清晰度打分；22 个领域 1,180 个关键词 | 标签：LLM 评审组 人类：6 位专家评 22 个 PDE 想法，原创性 ICC 0.823，可行性 0.453 |
测了 40 多个模型；想法生成分与通用能力只弱相关（与 LiveBench 的 r(41)=0.357）。没有结局锚点、随机水平或人类想法对照 | 公开 数据、代码 数据 Apache-2.0，代码 MIT |
| ResearchBench（2412.17767） | Yu et al.（UIUC） 2024-12 · ICML 2025 |
(c)·(3)。ResearchTown 把研究社区建成图，遮住一个论文或评审节点让模型补写，用嵌入相似度对照真实文本；写论文 1,000 个任务、写评审 200 个 | 标签：真实论文和评审（嵌入相似度） 人类：2 位研究生检查 40 个提案，人与 LLM 的相似度评分 Pearson 0.61 |
ResearchTown（GPT-4o-mini）写论文的平均相似度 0.68，写评审 0.49（无随机水平）；人类评模拟提案的新颖性略低于真实论文（5.50 vs 5.90）。嵌入相似度奖励主题接近，不衡量想法质量 | 公开 数据、代码 Apache-2.0 |
| ResearchBench（2503.21248） | Liu et al.（Shanghai AI Lab、NTU 等） 2025-03 · ACL 2026 Findings |
(a)/(c)·(3)。把已发表论文拆成背景、灵感和假设：从 75 个候选中检索灵感、组合假设、在 16 个候选里给假设排序；12 个学科 1,386 篇 2024 年及以后的论文 | 标签：LLM agent 从论文抽取（5 位博士生核查 62 篇，只计重大问题时 91.9% 准确）；组合由 LLM 裁判打分 人类：无 |
排序（金标准与负例两两比较，随机 50%）：Claude 3.5 Sonnet 81.59%，GPT-4o 59.60%；两种顺序都答对时 GPT-4o 只有 27.0%（随机 25%）。多数模型有明显的位置偏差，Llama-3.1-70B 低于随机 | 公开 数据、代码 数据 CC BY-NC 4.0（需申请，自动批准），代码 MIT |
| HypoBench | Liu et al.（University of Chicago） 2025-04 · 预印本 |
(a)·(1)/(2)。从带标签的数据（可加文献）归纳解释性假设；合成任务有已知真值，真实任务看假设的预测效用；7 个真实任务、5 个合成任务，共 194 个数据集 | 标签：合成任务的真值；LLM 裁判，经人工验证 人类：无生成对照；裁判检查中人与人 κ 0.80，模型与人 0.71 |
合成任务上最好的组合（DeepSeek-R1-Distill 加 HypoGeniC）在基础难度找回 93.8% 的真值假设，最难设置只有 38.8%；真实任务上微调的 Llama 胜过所有生成方法。无随机水平，假设多是对行为数据的归纳规则 | 公开 数据、代码 MIT（个别数据集可能另有许可） |
| AI Idea Bench 2025 | Qiu et al.（Wuhan University、Shanghai AI Lab 等） 2025-04 · 预印本 |
(c)·(3)。给出目标论文的 5 篇启发文献，让框架重新提出它的动机和实验计划；用 LLM 匹配打分、四选一和两两比较评估；3,495 篇 AI 会议论文 | 标签：目标论文；DeepSeek-V3 裁判 人类：无，裁判没有做人类一致性验证 |
与目标想法的匹配分（0–5）：AI-Scientist 最高，动机 3.591、实验计划 2.734；四选一认出目标的比例 0.378–0.611（单个想法随机 25%，一组想法更高）。只测了基于 GPT-4o 的框架 | 公开 数据、代码 Apache-2.0 |
| GiantsBench | He-Yueya et al.（Stanford） 2026-04 · 预印本 |
(c)·(3)。给出两篇前人论文，写出综合二者的后续论文会得到的核心洞见；LM 裁判按与真实洞见的相似度打 1–10 分，测试集按时间留出；17,839 例，8 个 arXiv 大类 | 标签：gemini-2.5-flash 抽取的真实洞见，gemini-3-pro 裁判 人类：无；2 位博士生评 30 对，与裁判 ρ=0.761 |
与真实洞见的相似度（无随机水平）：训练后的 GIANTS-4B 5.97，基座 Qwen3-4B 4.75，gemini-3-pro 4.43，前沿模型不比 4B 基座好。抽取真值的 gemini-2.5-flash 也是 RL 奖励裁判，可能被刷分 | 公开 数据、代码 数据 CC BY 4.0，代码 Apache-2.0 |
| ProjectionBench | Lew et al.（Unreasonable Labs） 2026-05 · 预印本 |
(a)/(c)·(3)。逐步披露信息，从只给研究问题到给出完整实验细节，让模型预测论文结论；GPT-5 抽取原子论断，判断是否与已发表结论一致；45 篇材料论文 | 标签：已发表结论；GPT-5 抽取并裁判 人类：无 |
GPT-5.4 只拿到最少信息时与已发表结论的对齐仍约 0.7 F1；GPT-5.4 和 Gemini 3.1 Pro preview 高于 GPT-5 和 Gemini 2.5 Pro。无随机水平和人类基线，GPT-5 既是裁判也是被测模型 | 未找到公开数据 |
| Matter to Mechanism | Sourav et al.（Washington University in St. Louis、ORNL 等） 2026-06 · 预印本 |
(a)/(c)·(3)。针对材料和电池研究问题，提出失效模式、干预和机制；用程序化指标合成 CBS 分，文献中的假设作参照；2,645 例 | 标签：程序化指标；文献中的参照假设 人类：文献参照假设按同样方式打分 |
CBS（0–1）：文献参照 0.467，最好的 ChemDFM-8B 0.427；Gemini 和 agent 系统的机制具体性（MSI）约 0.04，参照为 0.207。CBS 与两个 LLM 裁判的一致率只有 0.60 和 0.40，没有专家验证 | 未找到公开数据 |
| IdeaGene-Bench | Zhou et al.（Shanghai Jiao Tong University 等） 2026-07 · 预印本 |
(c)·(3)。根据想法的谱系推理并提出下一步：IG-Exam 是 42 类封闭式题目，IG-Arena 是生成任务，用 PES 分和 Elo 评；10 个领域，1,029 道题、30 个生成任务 | 标签：50 位研究生标注的谱系；LLM 裁判组 人类：无人类得分；人与裁判组两两排序一致 80% |
IG-Exam 精确准确率（随机水平未报告）：最强的系统只有 27.3%，Claude Opus 4.7 为 19.3%；IG-Arena 中流畅但不合谱系的提案常在对决中获胜。生成部分由 LLM 裁判组打分 | 公开 数据、代码 许可证待定 |
| HypoArena | Zhong et al.（UCAS、Alibaba 等） 2026-07 · 预印本 |
(a)/(c)·(3)。结论出现之前，为一个案例提出值得调查的一组假设；LLM 裁判双向两两比较，用 Bradley–Terry–Davidson 评分；6 个领域 988 例，含金融和 IT 运维 | 标签：seed-2.0-pro 裁判，经专家 1,500 次比较验证 人类：无人写答案；专家与裁判排序 Kendall τ=0.90 |
BTD 评分（起点 1500）：claude-sonnet-4.6 1654.0 最高，胜率 71.3%（随机 50%）；从原文抽取的参照假设 1590.5，胜率 57.8%，在 16 个参赛者中排第 4。参照由 LLM 从人写文档抽取，不是专家撰写 | 公开 数据、代码 数据 CC BY-NC 4.0，代码未注明许可证 |
| Reconstruction | Chen et al.（Prentis AI、Stanford 等） 2026-08 · 预印本 |
(c)·(3)。只给论文发表前的参考文献，让模型提出 5 个假设，由 LLM 裁判判断是否与后来发表的想法匹配；643 篇论文，来自 ICML 2026 oral 和 Nature 系列期刊 | 标签：被留出论文的想法；LLM 裁判，留一法 人类：无，作者说明尚未报告人与匹配标准的一致性 |
5 个假设中被判匹配的比例（无随机水平）：单模型最高为 Claude-Opus-4.8 13.3%；多 agent 互评加瑞士轮 36.0%，但它从 20 个候选中选 5 个，与单模型不对等。LLM 裁判，没有人类验证 | 未找到公开数据 |
| Lit2Test | Wang et al.（Peking University、Huawei 等） 2026-08 · 预印本 |
(b)/(c)·(3)。从真实论文的邻域出发，写出研究空白、假设、最小的决定性检验和指标；按两种顺序盲评两两比较，用 Bradley–Terry 汇总；200 个邻域，4 个模型 | 标签：Gemini 3.1 Pro Preview 裁判，另有第二裁判 人类：3 位高年级本科生标 90 对，彼此 α=0.238 |
Bradley–Terry 分：GPT-5.2 1.26，Claude Sonnet 4.6 0.74，DeepSeek-V3.2 −1.28；人与裁判在决定性且稳定的样本上一致 87.2%（34/39）。只有 4 个模型，评的是提案而不是结局 | 公开 数据、代码 代码 MIT，数据 CC BY 4.0 |
| AgentIdeaBench | Mo et al.（HKUST KnowComp、NVIDIA） 2026-09 · 预印本 |
(c)·(3)。为窄而活跃的子领域提出假设，比较只给精选论文（Static）和允许 agent 检索（Active）两种设置；3 个 LLM 评审打 1–10 分；5 个学科 100 个子领域 | 标签：3 个开源 LLM 评审 人类：100 对 CS 初步研究，人与人 κ=0.44，评审与多数票一致 77% |
开源模型榜（Active）：GLM-5.1 6.33，Kimi-K2.6 6.17；按同样格式改写的里程碑论文比所有模型的 Active 均值高 1.00–2.24。主动检索提升扎实性和可行性，测得的原创性不变。两个评审也是开源榜前两名的生成器，作者称去掉自评后结论仍成立 | 公开 数据、代码 代码 MIT，数据 CC BY 4.0 |
| Kale et al. | TCS Research 2026-09 · ICML 2026 RLxF workshop |
(c)·(3)。给定研究目标，先训练奖励模型预测想法的引用影响（5 档），再用 RL 训练生成器；LLM 裁判参照历史想法及其引用档位评生成的想法；约 10 万篇 CS 论文 | 标签：按年归一的引用数，分 5 档；生成想法由 3 个 LLM 裁判评 人类：无 |
奖励模型 5 档准确率 48.0%，零样本 GPT-5 27.7%（随机约 20%）。生成器 RL 后 impact rate 51.66%（基座 30.66%），但单个裁判给出 19.90%（GPT-5.1）到 81.80%（GPT-4.1）不等。没有人类验证 | 未找到公开数据 |
| AlphaIdeaBench△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(b)/(c)·(3)。在算力、API 和时间预算内，针对开放问题写出提案；LLM 裁判按 12 个维度打分；100 个任务，一半来自 workshop 征稿，一半来自综述中的开放问题 | 标签：LLM 裁判，用 600 篇论文的审稿人新颖性分验证 人类：无 |
Gemini 3.7 Flash 裁判的问题和方法新颖性分在 94–97% 的论文上与审稿人相差不超过 1 分；8 个框架中 CoI-Agent 总分最高，略高于 SciMON，所有框架的场景新颖性都低。只核对了摘要，没有看到各框架的分数 | 未找到公开数据 |
| MathIdeaBench△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(b)/(c)·(3)。生成数学研究提案，LLM 评审 MathIdeaJudge 按专家设计的量规评合理性、可行性、深度和原创性，另用 MSC 分类树衡量多样性；规模摘要未写 | 标签：LLM 裁判，量规由专家设计 人类：已发表论文中的想法（摘要未说明是否用同一裁判打分） |
摘要没有数字。与人写论文中的想法相比，LLM 提案的合理性、可行性和多样性更低，但概念更深、更原创。只核对了摘要，标签来自 LLM 裁判 | 未找到公开数据 |
| HypoTrans△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(a)/(b)·(2)/(3)。不测能否重现最终假设，而测给出新证据后细胞生物学假设应如何变化；文献中后来记录的状态被隐去作对照；规模摘要未写 | 标签：文献中后来记录的假设状态（结局） 人类：无 |
5 个模型的严格精确出现率为 0，机制层面的词汇重合 0.050–0.092，方向一致 0.041–0.081（摘要未给随机水平）。只核对了摘要，指标是词汇重合，未判语义正确性 | 未找到公开数据 |
| IdeaPrism△ | 匿名 2026-10 · ICLR 2027 投稿，在审 |
(a)/(c)·(2)。生成一组假设，用三个自动指标评：相对参照群体的探索新颖性、有效方向数，以及假设能否提高固定推理模型在隐藏证据题上的准确率；13 个子领域 61 个主题 | 标签：自动指标，不与单一答案匹配 人类：无 |
摘要没有数字。10 个 AI scientist 框架中，相对参照的探索或预测效用提高，不一定带来更广的方向探索。只核对了摘要，Value 取决于所选的推理模型和题目 | 未找到公开数据 |
| Priced Guidance | Wen et al.（Stanford） 2026-10 · 预印本 |
(c)·(3)。让模型重现一篇晚于其训练截止的深度学习论文的核心想法：模型可向知道答案的引导者提多选题，所需信息量以 bits 计，LLM 裁判判断是否抓住要点；测试 87 篇 | 标签：GPT-5.5 裁判，对照 Claude Opus 5 写的金标准摘要；引导者为 Fable 5 人类：无 |
Essence 裁判下重现想法所需 bits 中位数（越低越好）：Fable 5.1 69.9，Opus 5（high）70.4，GPT-6 Astra 71.6；作为尺度，用 GLM 5.3 逐字压缩金标准摘要要 1,147.1 bits。裁判、引导者和金标准都是 LLM，没有人类验证 | 公开 数据、代码 MIT |
| MechHypoBench | Xie et al.（CNIC, Chinese Academy of Sciences 等） 2026-10 · 预印本 |
(a)/(c)·(2)。agent 分析半合成数据，提出解释观测的机制假设，在它看不到的条件上检验其推论（MCA）；14 个领域 300 个任务，来自 244 篇论文和 150 个数据集 | 标签：论文中的机制，编入真实数据集的数据生成过程 人类：无；参照机制作上限 |
MCA 简单/困难：Codex + GPT-5.6 Sol 64.6/49.3，Claude Code + Claude Sonnet 5 43.7/28.8；空假设 16.7/16.8，打乱假设 38.1/39.9，参照机制（参数化）96.8/97.5。无效输出按空假设计分，会压低部分 agent 的分数 | 未找到公开数据 |
十、端到端研究评测
跳转到“十、端到端研究评测”一节这一组让 agent 完成一整段研究，从问题或数据出发，自己设计、执行、下结论；评分时会尽量把判断单独拿出来看，例如研究设计 rubric、原作者评分、结论有没有证据支撑。标签来源很杂，有原作者或单个人工评分者，有按 rubric 打分的 LLM 裁判，也有与已发表结论的比对。样本通常很小，少的只有 1–2 个任务、1 位评分者；目标论文和数据又常早于模型的训练截止，污染风险高。分数里还混着工程执行能力，不能直接读作研究品味。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| ★ CRUX | CRUX collaboration（Kirgis et al.） 2026-07 · 预印本 |
(c)·(3)。Claude Opus 4.8（OpenClaw 框架）用约 6 天、$3,000 的 API 额度，回答两篇未发表 NeurIPS 2026 投稿的核心问题，再由原作者评审；2 篇论文 | 标签：两篇论文的原作者评分 人类：原论文作者，非盲评 |
两篇总分 2/6 和 1/6，都是 “unambiguous rejections”；工程全部独立完成，初始假设被评为 “cogent and interesting”。GPT-5.6 Sol 在其中 1 篇上几乎复现了全部失败模式。只有 2 篇，作者知道是 AI 写的 | 部分公开 数据（agent 日志）、代码 代码 MIT |
| ★ Station | DualverseAI 等（Du & Chung） 2026-10 · 预印本 |
(b)/(c)·(3)。只给 3 篇 ICLR oral 论文的研究问题（隐去结果、禁止联网），看能重新发现多少子结论；再请其中一篇的作者给 agent 的 24 个新提案打分 | 标签：子结论由 GPT-5.5 裁判（与作者 66 条判断中 64 条一致），新提案由作者打分 人类：原论文的一位作者 |
多智能体系统重现 62.7% 的子结论（Codex Multiagent-v2 15.4%，AI Scientist-v2 14.4%–20.6%）；24 个新提案中 75% 只得 1 或 2 分（满分 5）。系统开发者自评，目标论文早于部分模型的知识截止 | 公开 数据、代码 Apache-2.0 |
| ★ Epoch InnovationEval | Epoch AI（David Owen） 2026-10 · 研究机构报告 |
(b)·(1)。在 3,000 GPU 小时、10B token 预算内，为 Qwen3-8B 设计一个超过强 GRPO 基线的后训练方法，以 SDPO 的增益为参照；1 个任务，另加人工审阅 | 标签：任务指标加人工审阅 人类：无人类运行的基线，参照是重测的 SDPO 结果 |
以 SDPO 增益为 100%：GPT-5.6 Sol 是唯一未受污染又有小幅改进的模型，宽口径 35%、范围内 15%；Fable 5.1 得 40%，主要靠调参，且有记得目标论文的迹象。只有 1 个任务，Epoch 称结论 “tentative” | 部分公开 数据（只有任务提示） CC BY 4.0 |
| ★ Epoch Automation Reports | Epoch AI（Hong & Burnham） 2026-10 · 研究机构报告 |
(b)·(2)。“研究设计”任务：提出一个新的研究项目，用不超过 $500 的 API 预算跑试点，再解读结果；这一类只有 1 个任务（整套 11 个任务），6 个模型 | 标签：1 位 Epoch 评分者按 rubric 打分 人类：Epoch 员工的工作标准记为 100% |
研究设计任务（员工标准 = 100%）：Fable 5.1（Claude Code）63%，GPT-6 Astra（Codex）62%，Grok 4.6 55%，Gemini 3.8 Flash 23%。这一列只有 1 个任务，每个模型跑 1 次，1 位评分者 | 部分公开 数据（网页展示 rubric 和模型输出，不能下载） CC BY 4.0 |
| MLR-Bench | NUS 等（Chen et al.） 2025-05 · NeurIPS 2025 D&B |
(b)/(c)·(3)。从 workshop 征稿主题出发，依次产出想法、提案、实验和论文，MLR-Judge 按 rubric 逐步打 1–10 分；201 个任务，端到端只跑了 10 个 | 标签：LLM 裁判（Gemini-2.5-Pro、Claude-3.7-Sonnet），用 10 位 ML 专家验证 人类：10 位审稿人；LLM 与人的分差不显著大于人与人之间 |
想法阶段（1–10 分，两个裁判平均）各模型在 7.68–8.11 之间，几乎分不开。端到端时编码 agent 约 80% 的情况下给出伪造或未验证的结果；合理性 MLR-Judge 打 3.73，人类审稿人 4.42。分数主要来自 LLM 裁判 | 公开 数据、代码 MIT |
| FIRE-Bench | UC San Diego 等（Wang et al.） 2026-02 · ICML 2026 |
(b)·(2)。隐去论文结论，agent 走完设计、实现、下结论的完整研究周期，按论断级 F1 与原文结论比对；30 个核心任务，另有 10 个跨领域任务 | 标签：已发表论文的结论；自动论断评测经人工抽查 33%（F1 0.89） 人类：无 |
论断级 F1（30 个任务各跑 3 次，无随机水平）：Claude Code（Sonnet-4）46.7 最高，OpenHands（o4-mini）31.9 最低；跨领域 10 题上跑过的 agent 都低于 25。失败集中在研究规划和下结论。分数混合了设计、编码和推断 | 公开 数据与代码 未声明许可证 |
| Beyond Final Scores | Meituan、UCAS（Li et al.） 2026-08 · 预印本 |
(a)·(1)。36 个 AutoLab 长程 AI 研发任务，统一用 Claude Code 跑 7 个模型、各 3 次；从轨迹算方案框定（C1）、执行（C2）、反馈控制（C3）等过程指标，并审计新颖性 | 标签：verifier 分数（结局）；新颖性由 Claude-Opus-4.8 分类、人工复核 人类：无；专家写的参考解记为 1 |
归一化分（0 = 刻意次优的起点，1 = 专家参考解）：Opus-4.7 avg@3 0.739 最高；方案框定 C1 只有 0.473–0.612，执行 C2 为 0.880–0.967。252 个最佳解中只有 3 个是新方法。C1、C3 是规则代理，不是专家判断 | 部分公开 数据（只有 AutoLab 任务，本文轨迹未发布） Apache-2.0 |
| TruthInsightBench | CNIC, CAS 等（Yang et al.） 2026-09 · 预印本 |
(b)·(2)。agent 在冻结数据上做开放式分析，LLM 裁判读执行产物，按 6 个维度、29 条 rubric 判断结论是否有证据支撑（满分 100）；40 个盲任务，来自 2018–2024 年的同行评审研究 | 标签：GLM-5.1 裁判（量化、关闭思考）读执行产物打分，无人工评分 人类：无 |
4 个编码 agent 共用 DeepSeek-V4-Flash，得分 58.4–60.3（满分 100），两两差异都不显著（最小 p = 0.118）；对照、稳健性和可证伪性得分低，跨数据集泛化接近 0。裁判没有对照人类专家验证 | 公开 数据与代码 Apache-2.0 |
| DISCERN | UC San Diego（Huang et al.） 2026-09 · 预印本 |
(b)·(2)。在生命科学的真实数据上分析，分三级：L1 数据完整性、L2 分析核查、L3 假设生成与修正；agent 要自己发现隐藏缺陷，也要接受干净的对照；203 个任务，8 个模型 | 标签：L1/L2 用人写 rubric 确定性评分；L3 经 3 轮 LLM 对抗评审后由 LLM 裁判打分 人类：无 |
满分率：L1 60.8%，L2 34.2%，L3 0.6%；总分 GPT-6 Astra 78.1 最高，GPT-4.1 39.8 最低。干净对照只有 29.7% 被正确接受（Astra 12.5%）。L3 只有 22 题、由 LLM 裁判，Astra 在反事实 L3 题上全部弃答仍排第一 | 公开 数据与代码（匿名发布） 许可证标为 other |
| EurekaBench | CMU 等（Geng et al.） 2026-09 · 预印本 |
(a)/(b)·(2)。agent 用 1 张 H100、4 小时为观测数据找解释机制（屏蔽源论文），两个 agent 裁判再用机制回答隐藏的洞见题，违反科学约束则记零；26 个任务，306 道洞见题 | 标签：与 10 位领域专家共建的洞见题，由 Claude Opus 4.8、GPT 5.6 Sol 两个 agent 裁判评分 人类：各问题已发表的人类最优解 |
条件分最好的 Claude Fable 5.1 为 29.8%，人类机制 63.7%；Fable 5.1 和 GPT 6 Astra 的预测准确率 47.4%，接近人类的 48.8%，科学洞见只有 42.4% 和 29.4%（人类 69.7%）。裁判也是被测模型，洞见题部分取自人类的发现 | 部分公开 数据与代码（26 题已发布 24 题） 未声明许可证 |
| Open-Endedness Bench | University of Michigan 等（Shi et al.） 2026-10 · 预印本 |
(b)·(1)。不重跑 agent，只给已有运行记录打过程分：建认知事件图，评证据使用、实验选择、修正和有无 reward hacking；119 个运行，来自 3 个基准的 12 个任务 | 标签：LLM 裁判（GLM-5.3；speedrun 用 Grok-4.6）摘录记录原文，代码核对摘录 人类：无 |
agent 当作改进的结果中，真正超过当时最好成绩的只有 16%（speedrun）和 29%（Chip-Bench）；speedrun 上 60% 的后续实验建立在不真实的进步上。记录里不写推理的模型实验选择分偏低，部分反映日志风格 | 公开 数据、代码 代码 MIT，数据 CC BY 4.0 |
| Zhang & Li | CMU 2026-10 · NeurIPS 2026 workshop |
(b)·(2)。同一道单细胞或统计遗传学题，分别给原始数据、撤掉证据和反转证据的版本，看答案是否跟着证据走，算有证据支撑的准确率（EGA）；22 题，每个 agent 重复 3 次 | 标签：基准答案，加每种数据改动预先登记的参考统计量 人类：无 |
18 道单细胞题上，Claude Code agent 有数据时 95% 正确，不给数据也有 83%，EGA 只有 41%；撤掉证据后基准仍给 77% 的分。隐去基因名后，无数据正确率从 87% 降到 27%（作者称接近随机）。题目只有 22 道 | 未找到公开数据 |
十一、想法分布审计
跳转到“十一、想法分布审计”一节这一组不给模型打能力分，而是统计它产出的想法或方法落在哪里：分布形状、离已有工作多远、与人类论文差多少。度量来自嵌入距离、关键词、LLM 标注或由人类方法构建的设计空间，多数没有质量或结局标签。人类一侧通常是筛选过的已发表成果，模型一侧是没经过筛选的一次性产出；“更集中”“新颖度更低”描述的是分布，不能直接读成想法更差。
| 基准 | 出处 | 测什么 | 标签与人类对照 | 主要结果 | 数据 |
|---|---|---|---|---|---|
| Tang & Yang | HKUST 2026-05 · 预印本 |
(c)·(3)。5 个 LLM × 5 个框架从 5 篇种子论文生成想法（检索限定在当时），用嵌入、前沿关键词和引用邻域与后续人类论文比较；12 个学科、155 个研究领域，219,655 个想法 | 标签：嵌入、关键词、引用等自动指标，加 LLM 标注 人类：同领域人类论文和引用种子的后续论文（参照分布） |
次年前沿关键词覆盖 28.5%，后续人类论文 36.5%；探索广度 0.554，人类论文 0.599。只有 10.5% 的想法提出种子论文里没有的研究问题，90.4% 引入了新方法。全是代理指标，没有专家判断想法质量，所测模型里没有 Claude | 未找到公开数据 |
| Chen, Zhao & Cohan | University of Chicago、Yale 2026-07 · 预印本 |
(c)·(3)。从反推出的 4–8 篇启发论文生成想法，按机会类型和贡献方式两轴自动分类，再与已发表的人类想法比较分布；11,683 个人类想法，9 个 LLM | 标签：GPT-5.4-mini 自动标注（与两位作者 κ 0.81–0.93），它也是被测生成器之一 人类：已发表论文作参照分布，不是上限 |
属于 bridge/fragmentation 类机会的想法：人类 12.1%，LLM 47.1%–64.2%；打开思考后更集中（Qwen3-8B 从 49.7% 升到 71.1%），给全文也没缩小差距。Dahl 的评论（arXiv 2609.15996）认为差距可能部分甚至主要来自幸存者偏差 | 公开 数据、代码 未声明许可证 |
| When AI Designs AI | ICT, CAS 等（Yang et al.） 2026-08 · 预印本 |
(a)/(b)·(1)。6 个 agent 在 6 个开放 AI 任务上各跑 24 小时（1 张 V100），给或不给参考论文；把所得方法映射到由人类方法构建的设计空间；72 种配置 | 标签：任务指标对照人类排行榜，加人参与的设计空间编码 人类：每个任务收集到的最佳人类排行榜成绩，不是限时实测 |
72 种配置中 10 种达到或超过人类 SOTA，其中 8 种在 GoEmotions 上；96.8% 的 agent 方法落在人类方法的设计空间内，空间外的 23 个解没有一个进入所在任务的前四分之一。设计空间由人类方法构建，可能低估空间外的新想法 | 未找到公开数据 |
| Bhushan et al. | University of Michigan 2026-08 · COLM 2026 |
(a)·(1)。把 AIDE、AIRA-dojo 在 10 个 MLE-bench Kaggle 竞赛上的轨迹切成片段，LLM 裁判按 0–4 分评新颖性：相对自身历史（P-creativity）和相对人类公开 notebook（H-creativity） | 标签：GPT-5 裁判，在 3 位学生标注的 300 个片段上验证 人类：获奖的 Kaggle notebook，金牌 H-creativity 0.744 |
GPT-5 加 AIDE 的 H-creativity 1.423，接近金牌 notebook（0.744）的两倍，但只有 21.25% 的 GPT-5 运行达到奖牌水平；拿别的任务的解作对照，也能得 2.39。新颖性由 GPT-5 打分，标注者是学生而非领域专家 | 部分公开 代码 MIT |
| Liu et al.（2610.17439） | University of Edinburgh 2026-10 · 预印本 |
(c)·(3)。8 个 LLM 以焦点论文为上下文生成假设，用 SPECTER2 嵌入算与已有文献的距离和正交新颖度（ONS）；6 个自然科学领域、1,325 个主题，524,308 个假设 | 标签：嵌入几何，无人工标签 人类：同主题的已发表论文（参照分布） |
LLM 假设离已有工作更远，但中位 ONS 比同主题已发表论文低 15%–23%；随机配对时真实论文胜出 72%–82%。换大模型、加上下文都没有消除差距，5 轮想法–裁判循环后仍低 12%–17%。作者说 ONS 低不代表不原创 | 部分公开 输入语料、代码（只有组织主页） |
相邻基准：不直接测研究判断
跳转到“相邻基准：不直接测研究判断”一节这些工作和研究品味评测相邻，有的还是品味评测的底座，比如 RE-Bench、MLE-bench 和 AIRS-Bench 都为目录里的判断评测提供过任务。但它们的评分不单独反映研究判断，或者本身不是基准，所以没有收进前面各组。CoBench 2.1、AgentHPOBench、AARRI-Bench、DiscoveryBench 和 Bolton & Torr 这 5 个条目的数字回到原始来源核对过；其余条目没有逐项核实数字，只记一句定位和不收录的原因。
执行、复现与工程
跳转到“执行、复现与工程”一节这些基准主要按任务完成的结果打分，判断即使起作用，也很少单独计分。
| 名称 | 是什么 | 为什么不算 |
|---|---|---|
| RE-Bench | 7 个开放式 ML 研究工程环境，61 位人类专家做了 71 次 8 小时尝试 | 测研究工程的执行；Taste-Bench 的研究分叉部分取自这里 |
| MLE-bench | 75 个 Kaggle ML 工程竞赛，以排行榜成绩作人类基线 | 测执行；FOREAGENT 等评测拿它作底座 |
| PaperBench | 从零复现 ICML 论文 | 复现基准：问题和方法由原论文给定 |
| MLRC-Bench | 7 个 ML 研究竞赛任务；最好的 agent 只补上基线到人类最佳差距的 9.3% | 按结果打分；LLM 评的创新性与实际表现对不上 |
| EXP-Bench | 来自 51 篇顶会 AI 论文的 461 个实验任务 | 主要测执行；设计正确性只是对照原论文评的一个子分 |
| AIRS-Bench | 20 个取自 SOTA ML 论文的任务；agent 在 4 个上超过人类 SOTA，16 个不及 | 按结果打分；AI Research Preference Models 的在环评测拿它作底座 |
| AutoLab | 36 个优化给定基线的长周期任务；坚持测评和修改的 agent 更容易成功 | 执行底座；Beyond Final Scores 的过程指标建在它上面 |
| AI4AI-Bench | 10 个冻结代码库，agent 在一张 B300 上用 4 小时重写训练算法 | 按结果打分的算法设计研发，不单独测判断 |
| PostTrainBench | CLI agent 在 10 小时、一张 H100 的预算内自主后训练基座 LLM | 测执行 |
| MLGym | Gym 框架加 13 个开放式 AI 研究任务（MLGym-Bench） | 按执行结果打分 |
| InnovatorBench | 20 个端到端 LLM 研究任务，含数据构建、损失与奖励设计、脚手架等，产出可运行 | 按结果打分的执行，不单独测判断 |
| ResearchGym | 5 篇 oral/spotlight 论文拆成 39 个子任务；GPT-5 agent 15 次评估中 1 次胜过基线 | 端到端执行；判断只做了定性讨论 |
| CORE-Bench | 检验能否复现已发表论文的计算结果 | 复现基准 |
| ScienceAgentBench | 从论文中整理的数据驱动发现编程任务（ICLR 2025） | 执行基准：任务来自论文，测写代码完成 |
| ReplicatorBench | agent 复现 SCORE 中已核实能否复现的社会与行为科学结论（KDD 2026） | 测执行复现，不是预测结果 |
| BioStudyBench | 用公开数据重新推导 25 项 2026 年 7–9 月首发的生物医学研究 | 执行基准；不给数据的一组只作先验知识对照 |
| InnoGym | 18 个工程与科学任务，按性能提升和方法新颖性打分（ICLR 2026） | 执行基准，附带一个新颖性指标 |
| AgentHPOBench | agent 每次干预后读配置、指标和日志，提出下一组超参数；30 个可执行 ML 任务 | 超参数搜索只是研究判断很窄的一部分；API agent 只跑一次 |
| CoBench 2.1 | Anthropic 内部评测：从冻结的代码、日志快照中找出 AI 研发故障的根因，500 题 | 根因诊断更接近调试，不是选择做什么；模型评分，厂商自报 |
| AARRI-Bench | 82 个手工研究场景，含识别死胡同、拒绝错误指导等 Mindset 任务，用单元测试评分 | 执行与判断混在一起；Mindset 约 13 题，单元测试未必反映判断质量 |
端到端自动研究
跳转到“端到端自动研究”一节这些评测大多覆盖从想法到论文的整段流程，总分里执行和判断混在一起。
| 名称 | 是什么 | 为什么不算 |
|---|---|---|
| Scientist-Bench | HKU AI-Researcher 的基准，取材前沿 AI 论文，分引导式创新和开放探索两类任务 | 端到端实现，LLM 审稿人评论文质量，不隔离选想法；只核对了摘要 |
| SGI-Bench | 1,000 多个专家整理的样本，覆盖深度调研、想法生成、干湿实验和实验推理 | 覆盖面广的流程基准，没有单独评测研究判断；想法生成子任务未逐项核实 |
| ARAC-Bench | 用审稿人提炼的评分细则给提案、实验、综合三阶段打分；测了 11 个框架 | 端到端评测，总分里执行和判断混在一起；提案阶段的细则分能否单独反映判断，本站没有核实 |
| ASI-Bench | 11 个领域 60 个项目级任务，逐步撤掉方法指导，平均分 50.91 → 29.10 → 26.62 | 以端到端执行为主；逐步撤掉方法指导能看出方法选择的作用，但本站没有逐项核实 |
| Into the Unknown | 9 个前沿 agent 在 5 个领域的开放方向上各写 15 篇后续论文，135 篇无一满足全部细则 | 方向和成功条件已给定；GPT-6-Astra agent 裁判的细则不隔离判断 |
| AstaBench | AI2 的科研助手套件：文献、编程、数据分析和端到端发现任务（ICLR 2026） | 覆盖面广的科研助手套件，不专测判断 |
| ResearchClawBench | 端到端重新发现一篇隐藏的目标论文，按专家细则评分 | 以结果和执行为中心，不单独评判断 |
| AutoResearchEval（ARFT） | 在 100 个真实前沿研究任务上做端到端诊断，归纳出 45 种失败模式 | 诊断资源，不给判断打分 |
| ResearchArena（2605.19156） | 端到端论文质量研究，对比只看稿件和结合产出物两种审稿 | 不是判断基准；与信息收集基准 ResearchArena（2406.10291）同名 |
| FARBench | 29 个任务上的端到端研究循环（ACL ARR 投稿） | 按结果打分，测执行 |
| SciProdBench | 184 个研究任务：报告按证据综合细则评分，另有隐藏的可执行测试 | 细则能否隔离判断尚未证明；只核对了摘要 |
| AIS-Bench | 参照原文重建想法，再实现和写报告，逐阶段评保真度（ICLR 2027 投稿） | 测重建，不测判断 |
| FormalTCS | 把 STOC、FOCS、SODA、COLT 的结果自动形式化并证明 | 测形式化和证明；生成论断的旁支实验（64 条留下 6 条）涉及品味，但不是基准 |
其他相邻任务与小型研究
跳转到“其他相邻任务与小型研究”一节这些基准测知识问答、数据分析、文献链接预测等相邻能力；最后两项预测研究结果，但规模太小，不能当基准。
| 名称 | 是什么 | 为什么不算 |
|---|---|---|
| DiscoveryBench | 给定数据和发现目标，agent 自行分析，写出数据支持的假设；264 个真实任务 | 目标和数据都已给定，主要测从数据中找出并验证假设的分析执行；评分只看最终假设与论文是否一致，判断没有单独计分 |
| HeurekaBench | 单细胞生物学中的数据驱动探索问题，对照已报道的发现检查（ICLR 2026） | 与 DiscoveryBench 同类，更接近分析执行 |
| SDABench | 科学数据分析问答，选择题和开放题都有，包括选择分析前提 | 测分析技能，不测研究判断 |
| Science Edge Evaluation（SEE） | 多模态专家问答：根据实验做有证据边界的推断 | 推理问答，不是研究判断 |
| MatterMech | 材料合成中物理化学假设的推断基准，题型是选择题和文本插入 | 名为假设，实为知识问答；勿与 Matter to Mechanism（2606.02258）混淆 |
| TruthHypo | 在 PubTator 3.0 知识图谱上按时间切分做关系预测，检验假设真实性（IJCAI 2025） | 文献式发现，与 Dyport 同类 |
| Dyport | 按重要性加权、按时间切片的生物医学知识图谱链接预测，用来评测假设生成 | 知识图谱上的文献式链接预测，形式接近第八组的 Science4Cast；本站未逐项核实，没有收进核心目录 |
| HypoSpace | 在因果图、3D 体素等合成领域生成假设集合，按有效性、唯一性和找回率评分 | 诊断玩具领域里假设空间的覆盖，不是研究想法 |
| SciPaths | 发现路径预测：找回一项成果背后的使能贡献，262 条金标、2,444 条银标路径 | 反向重建依赖关系，不要求模型提出或判断想法 |
| IDRBench | 跨学科研究基准：识别跨学科论文、整合想法、推荐想法，测了 10 个 LLM | 以识别跨学科论文、推荐想法为主；推荐部分可能与判断有关，本站没有逐项核实 |
| IdeaAMBIG | 判断研究想法的方法描述是否完整到可以实现 | 测描述是否完整，不测想法值不值得做 |
| Auto-Discovery-Bench | 在图、关系和方程发现上，由 oracle 引导的假设、干预、反馈循环 | 诊断结构化状态追踪：去掉干预选择和假设生成后，许多失败依然存在 |
| Anthropic Library Ranking | Opus 5.5 system card 中的任务：给留出的蛋白设计排序，对照湿实验结果；83 题 | 更接近适应度和性质预测，不是研究判断 |
| Saynova et al. 2025 | 用 LLM 模拟样本判断 14 项 Many Labs 2 研究能否复现，F1 最高 77% | 只有 14 项研究，太小；结果 2018 年起就已公开 |
| Lippert et al. 2024 | 一项大型情绪表达研究的效应量预测：GPT-4 汇总预测相关 0.89，119 位研究者 0.87 | 只有一项研究，不能当基准；人类专家对照值得引用 |
通用创造力、多样性或通用预测
跳转到“通用创造力、多样性或通用预测”一节这些基准的题目不限于科研，或者来自科研以外的领域。
| 名称 | 是什么 | 为什么不算 |
|---|---|---|
| NoveltyBench | 用整理过的提示和真实用户提示，测 20 个模型的输出是否像人一样多样（COLM 2025） | 通用的创造力和多样性，不针对科研 |
| GENIE | 相对一组回答，细粒度衡量模型输出的新颖性 | 通用的新颖性指标，不针对科研 |
| ForecastBench | 动态基准：在未揭晓的现实问题上，比较 LLM 与超级预测者和公众的预测 | 通用预测，不专门针对研究结果 |
| The Judge Knows When It Knows | 预注册研究：多模态 LLM 看截图预测 330 个真实网页 A/B 测试的胜者 | 产品转化实验，不是科研；可作预注册结局预测的范本 |
| Bolton & Torr（F1 与 MTG） | 让模型为 2026 款 F1 赛车提设计想法、为 MTG 新系列组牌，对照截止后专家的实际做法 | 用 F1 和 MTG 代替科研领域；匹配只说明趋同，不说明想法有价值 |
审稿生成与审稿稳健性
跳转到“审稿生成与审稿稳健性”一节这些工作看 LLM 审稿写得如何、有没有偏差、会不会被操纵，多数没有对照结局检验判断准不准。
| 名称 | 是什么 | 为什么不算 |
|---|---|---|
| LLM-REVal | 模拟研究 agent 与审稿 agent 的循环并人工标注；LLM 审稿人给 LLM 写的论文打高分 | 审稿偏差模拟，没有带质量标签的可复用基准 |
| Wang et al.（When AI reviews science） | AI 审稿的安全与可靠性分析：全流程攻击分类，加 ICLR 2025 投稿上的对照探测 | 测 AI 审稿人的稳健性，没有真实质量标签 |
| BadScientist | 生成造假论文测 LLM 审稿系统：审稿人指出诚信问题却仍给录用分（ACL 2026） | 审稿诚信的红队框架，不测判断准确率 |
| Agents4Science 2025 | AI 写稿、AI 审稿的会议报告：253 篇完整投稿，录用 48 篇；论文和审稿意见公开 | 会议报告和数据资源，没有 AI 对人类的决策准确率指标 |
| Stop Automating Peer Review | 立场论文：对比 ICLR 2026 人类与 AI 审稿，AI 意见趋同，会被洗稿式改写骗过 | 立场论文加分析，不是判断基准 |
| PRISM | 多维度评测 LLM 审稿质量（深度、新颖性评估、找缺陷、建设性），与人类审稿人比较 | 评的是审稿意见本身的质量 |
| SciReview | 专家在研究稿中植入概念错误让模型找；三个前沿模型的完全找回率都不超过 5% | 测的是查错能力 |
| LLM-Based Grant Proposal Review | 6 份 EPSRC 申请书按 6 个质量维度扰动，看 LLM 审稿能否发现；清晰度缺陷多被漏掉 | 规模很小的扰动稳健性研究 |
| The Predictable Core of Peer Review | TF-IDF 岭回归预测 ICLR 集体评分，Spearman 0.522，高于 NAIPv2-8B 的 0.439 | 非 LLM 的评分预测 |
| DeepReview 与 CycleReviewer | 在 OpenReview 数据上训练的审稿模型，按评分和录用决定的预测来评估 | 审稿生成系统；其中的评测部分未逐项核实 |
| ReviewGuard | 对齐未来引用的 LLM 审稿模型，基于 20,861 篇 OpenReview AI/ML 论文 | 训练审稿模型去对齐日后引用的方法论文，评的是自家模型；做的是第七组那类引用预测，本站未逐项核实 |
| Review Arcade | ARR 2025 论文上，作者照 LLM 审稿反复改稿，最多 35% 的论文总分显著上升 | 研究 LLM 审稿人的一致性和可操纵性，不测判断准不准 |
| Beyond Final Decisions | 把 PeerRead 等审稿数据拆成总结、批评、建议、决定的链条，看决定有没有前文证据支撑 | 诊断审稿过程的一致性，不是事前判断的准确率 |
| AI-Assisted Peer Review Across Research Communities | 调查 111 个会议和期刊的 AI 审稿政策，并对比数百份人类与 LLM 审稿 | 比较审稿质量，LLM 审稿偏正面、偏泛泛；没有决策准确率基准 |
| FirstPass | 基于 Nature Communications 的多轮审稿对话，预测修改周期是标准还是延长 | 预测的是编辑流程结果，不是研究质量 |
| MechEvalAgent | 通过实际执行来评估机制可解释性研究的 AI 评审（ICML 2026 workshop） | 提出执行式 AI 评审框架的方法论文，评的是自家框架，不是供各模型比较的判断基准 |
人类基线研究（没有评测 LLM）
跳转到“人类基线研究（没有评测 LLM）”一节这些研究测的是人类预测研究结果或评审的表现（Chakravorti et al. 另有基于特征的算法交易者），可以作为模型评测的人类对照。
| 名称 | 是什么 | 为什么不算 |
|---|---|---|
| Gordon et al. 2021 | 汇总的复现预测市场：对 103 项复现结果分类，准确率 73%（基础复现率 49%） | 只有人类，可作人类对照；复现在 2015–2018 年已发表，拿来测 LLM 有污染 |
| Marcoci et al. 2024 | 100 条 COVID-19 预印本论断的结构化引出（IDEA 协议）：有经验者判对 61%，新手 69% | 没有 LLM，可作复现预测的人类对照 |
| DellaVigna & Vivalt | 社会科学预测平台 2020–2024：100 个项目、53,298 条预测，66 个已有结果 | 没有评测 LLM；可作人类对照（预测者高估效应，平均预测相当准） |
| Chakravorti et al. 2026 | 混合预测市场：用 402 个复现结果训练的算法交易者和人类一起预测 30 项 SCORE 复现 | 交易者是基于特征的 ML 模型，不是 LLM；实时测试集很小 |
| The Selection-Target Problem | 检验审稿人的哪些子分数（如新颖性）与论文后来的引用相符 | 研究对象是人类审稿分，Sonnet 的摘要画像只作诊断；可作人类对照 |
方法论文、协议与资源
跳转到“方法论文、协议与资源”一节这些多是方法、系统、协议、立场论文或数据资源，不是独立的判断基准。下表只列名字或做法像基准、容易被误认的 15 个。
| 名称 | 是什么 | 为什么不算 |
|---|---|---|
| TF-Bench（InciteResearch） | 隐性到显性的研究构思框架，附小型 TF-Bench，由 LLM 裁判评新颖性和影响 | 以系统为中心、靠 LLM 裁判；基准是否公开没有核实 |
| IdeaScientist（Svalbard Idea Vault） | 多 agent 研究构思系统，附 2026-01-01 后的 277 篇留出论文和 277 万条想法语料 | 系统论文，新颖性和质量由 LLM 打分；留出集可复用 |
| LLM4Impact | 融合语义、图、LLM 和时间信号预测引用影响；自建 200 万篇的防泄漏基准，发表后公开 | 方法论文，基准尚未公开；做的是引用回归 |
| GitScholar | 把 444,000 个 GitHub 仓库的活动与 558,000 多篇 AI 论文关联，用于早期影响预测 | 基于关注度信号的影响数据集，不评研究内容 |
| OpenDiscoveryTrace | 用于审计 AI 科学家工作流的过程轨迹数据集（ICML 2026 workshop） | 没有判断质量标签 |
| Literature-Grounded Novelty Assessment | 检索加维度重排的新颖性检查器；前两位作者标注了 51 个想法（κ 0.64） | 标注集很小且由作者自标；已被同一团队后来的 Old Ideas, Novel Problems（见第五组）取代 |
| Liu et al.（Scientific Novelty Detection） | 用论文闭包集和 LLM 总结的想法，构建营销与 NLP 领域的新颖性检测数据 | 标签是合成的；属于方法论文 |
| What Does LLM-Judged Novelty Reward? | 受控实验检验 LLM 新颖性裁判：有顺序效应，与已有专家评分只部分一致 | 诊断裁判效度，没有新的标注集 |
| Capability-Aware Early-Stage Research Idea Evaluation | 微调 BERT 预测早期研究想法的录用和评分，输入包含作者身份 | 不是评测 LLM 判断，还会奖励声望信号 |
| Privileged Hindsight Distillation（PHD） | 学习单个研究者对提案的成对偏好（量子研究，7 位真实、100 位模拟研究者） | 标签是个人偏好和 LLM 事后评审组，不是结局；未找到公开评测集 |
| The Implementation Lottery | 审计协议：同一想法换一种实现，程序得分证据就会变；3,048 次分配，31 个表格任务 | 循环中想法打分的测量效度协议，不是模型基准 |
| Heuresis | 比较六种搜索策略做自主 ML 研究：3 个领域 3,222 次评分运行，无一被评为 Original | 比较的是搜索算法，构思器固定，不比模型判断；可作新颖性审计证据 |
| METR Sunlight 与 LMCA | METR 评估 Opus 5.5 时列出的难验证任务：Sunlight 开放研究加报告、LMCA 概念论证 | 没有公布数值分数；METR 称证据不显示判断技能比 Fable 5.1 有大幅提升 |
| Why AI R&D Benchmarks Need to Measure Research Judgment Separately | Yilin Huang 的立场论文：定义战术性研究品味，主张基准把它和暴力搜索分开测 | 立场论文，没有数据 |
| Measuring the Creativity of Frontier LLMs in Automated Research | 评测前沿 LLM 在自动研究中创造力的论文（2026-09 预印本） | 作者已在 arXiv v3（2026-10-07）撤稿 |
另有 28 个方法论文、系统、协议、模型和数据集没有列出。