研究品味基准全览
先说结论
跳转到“先说结论”一节- 数量很多，测的东西差别很大。 本站收录了 148 个直接测研究判断的基准和评测，另列出 89 个常被一起提到、但评分不单独反映研究判断的相邻基准和研究。按模型要做的事分成 11 组，从“预测一个实验的结果”一直到“预测领域接下来做什么”。
- 分布极不均匀。 85 个落在 (c)·(3)：选题与方向，靠延迟或主观的评价打分。(c)·(1)，也就是选题、同时有便宜的客观反馈，只有 1 个，而且只核对了摘要。这一格几乎是空的，不全是因为没人做：选题本来就很少有便宜的客观信号。
- (c) 格的标签几乎都是代理。 专家偏好、引用、发表层级、“之后有没有人发表类似工作”，都混入了热度、声望和评审噪声。直接测“选一个问题去做，做出来是否重要”的基准还没有。
- 简单基线经常不输模型。 预测各研究方向的论文份额时，指数平滑外推胜过最好的 agent（Spearman 0.803 对 0.595）；CUSP 上 6 个模型全部低于“一律答否”。
- 专门训练的小模型常胜过零样本的前沿模型，但离开训练分布，优势基本消失。 Mule et al. 的同领域测试中，微调过的 Qwen3-8B 为 77.1%，GPT-5（high）为 61.10%；换成跨领域、按时间切分的测试，这个模型只剩 45.67%，与 GPT-5（high）的 45.96% 相当；各微调版本里最好的也只有 49.08%（随机约 25%）。
- 最新模型很少被测。 148 个里只有 13 个测过 Opus 5.5、Fable 5.1 或 GPT-6 Astra 中的至少一个；预测实验结果、判断想法、预测影响力和领域走向这几组里一个都没有。
- 一半以上能拿到数据，但最常被引用的几个拿不到。 83 个公开了测试数据，16 个部分公开；TasteVal 和 Anthropic 下一步评测不公开，TASTE 和 Wen et al. 需要申请。
速查：想测什么，看哪个
跳转到“速查：想测什么，看哪个”一节括号里是测试数据能否获取。各基准的指标和人类对照不同，结果不能横向比较。
| 想测什么 | 格子 | 先看 | 也可以看 | 读数时注意 |
|---|---|---|---|---|
| 问题内挑下一步、挑候选方案 | (a)·(1) | Taste-Bench（公开） | AI Research Preference Models、FOREAGENT、Rehearse | 结局标签可能混入 seed 噪声；Taste-Bench 没有人类基线 |
| 项目进行中该不该转向 | (a)/(b)·(2)/(3) | SciΠvot（未找到公开数据） | Anthropic 下一步评测（不公开） | SciΠvot 有人类对照：没接触过项目、可以用 agent 助手的研究者 73.4%；单独作答的 5 个模型中 4 个低于随机 |
| 实验设计的效率 | (b)·(1) | TasteVal（不公开） | BoxingGym、NewtonBench、SLDBench v2、Autonomous Science Bench | 这些替代品测的是模拟或回放环境里的主动实验，不是 AI 研发本身；SLDBench v2 还没找到公开数据 |
| 预测实验结果 | (a)·(3) | Wen et al.（需申请）、BrainBench（公开） | Ashokkumar et al.（Nature）、SciPredict、Mule et al. | 先确认测试条目晚于被测模型的训练截止 |
| 判断实验设计是否站得住 | (b)·(3) | SoundnessBench（公开） | SFBench、AbGen | 标准提示下，12 个 LLM 平均把 74.0% 的低合理性提案判为合理 |
| 判断新颖性 | (c)·(3) | RINoBench、NovBench（公开） | Old Ideas, Novel Problems、RQ-Bench、NovGauge | 改一句提示，最多能翻转 56.5% 的判决 |
| 判断提案值不值得做 | (c)·(3) | Ideation Arena（公开）、TASTE（需申请） | Bao et al.（公开）、SciMuse | 专家彼此的一致率本身只有 53%–61% 左右 |
| 预测影响力 | (c)·(3) | SciJudge、Gong et al.（都公开） | SciImpact、Proof of Time | SciJudge 按主题匹配后，准确率从 82.7% 降到 62.9% |
| 预测领域走向 | (c)·(3) | IdeaForecastBench（公开）、Historical backtesting（公开，前瞻设计） | RAP、PreScience、BackTrend | 和统计外推、话题趋势这类简单基线比一比 |
| 想法生成的质量 | (c)·(3) | Ideation Arena（公开，专家投票）、Si et al.（公开，执行前后各评一次） | LiveIdeaBench、AI Idea Bench 2025、ResearchBench、MOOSE-Chem | 多数靠 LLM 裁判，或看与已发表论文像不像 |
| 整段研究里的判断 | 端到端 | Epoch 研究设计任务、CRUX、Station | DISCERN、FIRE-Bench | 样本极小，评分者往往只有一两位 |
3×3 格子里的分布
跳转到“3×3 格子里的分布”一节格子的定义见什么是研究品味。跨格的基准在每个格子里各计一次，所以合计大于 148。
| 反馈 ＼ 范围 | (a) 问题内的下一步 | (b) 实验设计与证据门槛 | (c) 选题与方向 |
|---|---|---|---|
| (1) 外部便宜指标 | 16 个：Taste-Bench、Anthropic 下一步评测、AI Research Preference Models、FOREAGENT…… | 21 个：TasteVal、BoxingGym、Epoch InnovationEval、NewtonBench…… | 1 个：SENSE-Bench（合成世界，只核对了摘要） |
| (2) 指标隐去或需自建 | 10 个：SciΠvot、MechHypoBench、OpenHypBench…… | 13 个：Epoch 研究设计任务、BLADE、DISCERN、FIRE-Bench…… | 6 个：MechHypoBench、OpenHypBench、Gupta & Pruthi…… |
| (3) 延迟或主观评价 | 20 个：Wen et al.、BrainBench、SciPredict、Ashokkumar et al.…… | 36 个：SoundnessBench、SFBench、AbGen、Station…… | 85 个：TASTE、Ideation Arena、SciJudge、CUSP、IdeaForecastBench…… |
三个读法：
- (c)·(3) 一格就占了一半以上。 这里的基准最多，但标签几乎都是代理，人类之间的一致率也低，所以数量多不等于证据强。
- (2) 一行最薄。 需要自己构造评价标准的情形，在证据地图里三格都被评为“偏弱”，测得却最少。
- (c)·(1) 基本是空的。 想在选题层面拿到干净的结局标签，目前只能走前瞻设计：先冻结问题，过几年再看。
重点基准
跳转到“重点基准”一节下面 25 个是本站标 ★ 的基准：直接测判断、标签可信度较高，或是本专题结论依赖的关键证据。每一行只摘一个结论。
| 基准 | 格子 | 一句话结论 | 人类对照 | 数据 |
|---|---|---|---|---|
| Wen et al. | (a)·(3) | 两个想法谁的 benchmark 结果更好：微调的 GPT-4.1 加检索在 45 对 NLP 子集上 64.4%；零样本的 o1/o3 与随机相当 | 每对 5 位专家的多数票 48.9% | 需申请 |
| BrainBench | (a)·(3) | 分辨两版神经科学摘要中哪个结果是真的：所测 LLM 平均 81.4% | 171 位神经科学家平均 63.4% | 公开 |
| SciPredict | (a)·(3) | 405 个实验结果预测题：模型 14%–26%，和专家差不多；差别在于专家知道哪些结果可以预测 | 专家约 20% | 公开 |
| Ashokkumar et al. | (a)/(b)·(3) | 预测 70 个调查实验的 469 个处理效应：GPT-4 r=0.85 | 普通人平均预测 r=0.84 | 公开 |
| CUSP | (c)·(3) | 预测科学里程碑能否按期实现：6 个模型全部低于“一律答否”的 57.03% | 100 个 AI 事件上人类 73.0%，GPT-4o 52.5% | 公开 |
| TasteVal | (b)·(1) | 问题固定时的实验品味：Opus 5.5 的算力倍数 2.30×（95% CI 1.15–4.37） | 专家基线 = 1× | 不公开 |
| Taste-Bench | (a)·(1) | 决定性证据已在前文时 14 个模型平均 62.3%，需要后续工作才能判断时 21.0%（随机 25%） | 无 | 公开 |
| Anthropic 下一步评测 | (a)·(1)/(3) | 在 129 个特意挑出的、研究员走了弯路的时刻，Mythos Preview 的下一步有 64% 被判为好于研究员当时的选择；人本来就选得好的 127 个对照时刻只有约 20%；Anthropic 自己说不是同口径比较 | 研究员本人当时的选择 | 不公开 |
| SciΠvot | (a)/(b)·(2)/(3) | 有项目记录、medium 推理强度时，5 个模型中 4 个低于随机（50%）；最好成绩是 GPT-6 Astra（xhigh）的 63.5% | 没接触过项目的研究者 73.4%（作答时可以用 agent 助手） | 未找到公开数据 |
| AI Research Preference Models | (a)·(1) | 在 agent 搜索树里挑更有希望的兄弟节点：前沿模型 64.66%–67.44%，先跑 pilot 实验的版本最高 84.02%（随机 50%） | 无 | 部分公开 |
| BoxingGym | (b)·(1) | 10 个模拟环境，用期望信息增益衡量实验选得好不好；结果只见于图表 | 无 | 公开 |
| TASTE | (c)·(3) | AI 安全研究提案两两比较：Fable 5（max）60%，几乎所有模型都在随机水平的 2 个标准差以内 | 估计 77%；讨论前的原始一致率 53% | 需申请 |
| Ideation Arena | (c)·(3) | 105 位研究者投票；14 个 LLM 裁判对专家票的 soft accuracy 为 59.52%–72.56% | 专家两两一致率 56.8%（与裁判的 soft accuracy 不是同一指标，不能直接比） | 公开 |
| RQ-Bench | (c)·(3) | 在“非显然性”上，LLM 裁判和专家方向相反：Gemini-3.1-Pro 82% 偏好 GPT-5.5 生成的问题 | 两位专家互相一致 60% | 公开 |
| SoundnessBench | (b)·(3) | 标准提示下 74.0% 的低合理性提案被判为合理；换激进提示，误报降了，高合理性的召回也跌到 36.1% | 无 | 公开 |
| Bao et al. | (a)/(c)·(3) | 6,749 位科学家的 25,139 组评分；LLM 裁判直接比较两个想法时 53%–61%，用评分训练的奖励模型超过审稿人一致率 | 审稿人一致率 61.0%（任务不同，作参照） | 公开 |
| SciJudge | (c)·(3) | 预测两篇论文谁引用更多：1,000 对上 82.7%；再按主题匹配后只有 62.9% | 无 | 公开 |
| Gong, Li & Zhou | (c)·(3) | 只看 pitch 判断最终发表在哪一档期刊：微调小模型 55.0%–59.2%，前沿推理模型平均 31.1%（随机 25%） | 编辑和编委的多数票 41.6% | 公开 |
| IdeaForecastBench | (c)·(3) | 预测社区接下来研究什么：GPT-4.1 的 Hit@5 换提示方式就从 0.487 升到 0.756；话题趋势启发式胜过直接提示 | 无 | 公开 |
| Historical backtesting | (c)·(3) | 前瞻设计：2026-08-17 冻结的 200 个问题，要到 2027–2030 年才能评分 | 两位盲评标注者之间 κ 只有 0.17 | 公开 |
| Si, Yang & Hashimoto | (c)·(3) | 执行前 AI 想法的新颖性更高（5.64 对 4.84），执行后各项降幅都显著大于人类想法 | 人类专家写的想法 | 公开 |
| Epoch InnovationEval | (b)·(1) | 为 Qwen3-8B 设计后训练方法：只有 GPT-5.6 Sol 有未受污染的小幅改进（宽口径 35%） | 无 | 部分公开 |
| Epoch 研究设计任务 | (b)·(2) | 提出项目、跑试点、解读结果：Fable 5.1 63%，GPT-6 Astra 62%；这一类只有 1 个任务，每个模型跑 1 次 | Epoch 员工的工作标准 = 100% | 部分公开 |
| Station | (b)/(c)·(3) | 重现了 62.7% 的子结论；24 个新提案中 75% 只得 1 或 2 分（满分 5） | 原论文的一位作者打分 | 公开 |
| CRUX | (c)·(3) | Claude Opus 4.8 用约 6 天回答两篇未发表投稿的核心问题，得分 2/6 和 1/6 | 原论文作者，非盲评 | 部分公开 |
数据能不能拿到
跳转到“数据能不能拿到”一节- 148 个里：83 个公开测试数据，16 个部分公开，3 个需要申请，7 个明确不公开，39 个没有找到公开数据（多是刚发布或仍在评审的论文）。
- 重点基准里不公开或需申请的：TasteVal、Anthropic 下一步评测（不公开），TASTE、Wen et al.（需申请），SciΠvot（代码仓库目前是空的）。这几项的数字目前没法独立复核。
- 许可证：多为 MIT、Apache-2.0 或 CC BY 4.0。Ideation Arena 的数据是 CC BY-NC 4.0，不能商用。用之前请回到各自的数据卡确认。
- 只核对了摘要的条目：20 个只在 OpenReview 上能找到的论文（多为在审投稿或 workshop 论文），本站没能取得全文，标 △，引用前最好等正式版本。
- 每个基准的数据和代码链接见目录页，也可以下载 CSV。
时间线
跳转到“时间线”一节| 时间 | 新增数量 | 代表 |
|---|---|---|
| 2018–2023 | 4 | PeerRead（录用预测）、Science4Cast（概念链接预测，非 LLM）、SciMON、LLM4BioHypoGen |
| 2024 | 17 | BrainBench、Si et al.、DiscoveryWorld、IdeaBench、MOOSE-Chem、BLADE、SchNovel |
| 2025 | 21 | BoxingGym、ResearchBench、AI Idea Bench 2025、HypoBench、Wen et al.、AbGen、NewtonBench |
| 2026 年 1–6 月 | 38 | SciJudge、Gong et al.、SciPredict、CUSP、SoundnessBench、RQ-Bench、Bao et al. |
| 2026 年 7 月–10 月中 | 68 | CRUX、TASTE、Ideation Arena、Taste-Bench、IdeaForecastBench、TasteVal、SciΠvot |
最近三个半月新出现的基准（68 个），接近此前所有年份的总和（80 个）。2026 年成批出现了两类新设计：一类测研究循环里的决策，如 Taste-Bench、TasteVal、AI Research Preference Models、SciΠvot；另一类按时间切分或采用前瞻设计，如 CUSP、RAP、IdeaForecastBench、Historical backtesting。
横向观察
跳转到“横向观察”一节简单基线经常不输模型。 预测研究注意力时，指数平滑（EWMA）的 Spearman 为 0.803，最好的 agent（GPT-5.5 加检索）只有 0.595（RAP）。CUSP 上 6 个模型全部低于“一律答否”。RINoBench 上最好的 GPT-5，5 类 macro-F1 只有 17.2，本站按测试集的类别分布推算，均匀随机猜约 18.5。IdeaForecastBench 上，话题趋势启发式胜过直接提示。报告“模型达到 X%“时，应同时报告这类基线。
人和模型谁强，取决于任务。 预测已发表的结果时，模型常常不输人：BrainBench 上 LLM 81.4% 对神经科学家 63.4%；Ashokkumar et al. 中 GPT-4 与普通人的平均预测相当（r=0.85 对 0.84）。需要项目背景或可行性判断时，人明显更好：SciΠvot 上可以借助 agent 助手的研究者 73.4%，单独作答的模型多数低于随机；CUSP 上人类 73.0%，GPT-4o 52.5%；AbGen 的消融设计，人类专家 4.80 分，最好的模型 4.11 分（1–5 分）。
能从结局数据里学，但学到的东西不一定能迁移。 用结局标签训练的小模型常常胜过零样本的前沿模型：SciImpact 上微调的 Qwen3-4B 为 0.685，o4-mini 为 0.642；Gong et al. 中微调小模型 55.0%–59.2%，前沿模型平均 31.1%。Research World Models 中，给模型同一环境里的历史实验记录，平均 Spearman 提高 0.27。但 Mule et al. 换到跨领域、按时间切分的测试后，最好的结果只有 49.08%。
多想几轮帮助有限。 Taste-Bench 上推理强度从最低调到最高，变化不到 3 个百分点，置信区间都含 0；Research World Models 中推理强度从 LOW 调到 MAX，Spearman 只从 0.609 变到 0.648；SciΠvot 上让模型重新考虑，准确率从 39.2% 到 44.0% 再到 42.3%，没有稳定提升。Rehearse 还发现，研究轨迹里累计成功 3 次及以上之后，不带历史记忆的裁判做事前判断，准确率从起步时的 82.8% 跌到 56.9%。
评分者本身也在被测。 在一项物理学盲评研究中，每个 LLM 审稿人都给 AI 写的研究计划多打约 1 分（5 分制），人类审稿人给两组的分数几乎一样（3.52 对 3.51）。AbGen 中 LLM 裁判给各模型的总分挤在 4.65–4.96 之间，几乎分不出高低。人的评分也不稳：同一个对照想法隔一段时间再评，总体质量的重测 ICC 只有 0.586；UKRI 资助申请的审稿人之间平均相关只有 0.24。
动态和前瞻设计在增加。 DBench-Bio 按月出新快照，RAP 设了 5 个时间起点，IdeaForecastBench 用 12 个月度截止点，Historical backtesting 先冻结问题、几年后再评。它们缓解了训练数据污染，但代价是要等，或者只能测“预见社区共识”，而预见共识不等于选对重要问题。
空白：还缺什么样的基准
跳转到“空白：还缺什么样的基准”一节- 没有直接测“选一个问题去做，做出来是否重要”的基准。 (c)·(3) 格的 85 个几乎都在测代理信号。唯一落在 (c)·(1) 的 SENSE-Bench 用的是合成世界，而且只核对了摘要。
- 前瞻评测要等。 Historical backtesting 冻结的问题要到 2027–2030 年才出分，GapBench-3 预先登记的预测要到 2027 年 7 月才评分。在那之前，关于选题能力的结论都只能建立在代理标签上。
- 几乎没人测“人加 AI”。 Ashokkumar et al. 把人和 GPT-4 的预测简单平均（r=0.89）；SciΠvot 的人类基线允许研究者借助 Codex 或 Claude 的 agent 助手（73.4%，高于所有单独作答的模型），但没有不带助手的人类对照。还没有基准把研究者用 Claude 或 Codex 时的判断，同时和人、AI 各自单独作答比较。
- 战略层没有跨代数据。 TASTE 只有一个时间点；最新的三款模型没有出现在任何判断想法、预测影响力或领域走向的基准里。
- 最常被引用的结果难以复核。 TasteVal 和 Anthropic 下一步评测不公开；39 个基准没有找到公开数据。
- 人类基线少，定义也不统一。 大多数基准没有人类表现对照；有对照的，有的是平均专家，有的是多数票，有的是讨论后的标签，见怎么衡量研究品味里的人类上限表。
这些空白也列进了开放问题。
本页是怎么整理的
跳转到“本页是怎么整理的”一节- 检索：2026-10-15 至 10-16 做了一轮专门检索，按想法生成、判断想法与提案、结果与影响预测、研究循环里的决策 4 个方向各派一个 agent，另一个 agent 专门找遗漏。共得到约 190 条记录，去重后 154 个候选：148 个收录，5 个移入相邻基准，1 个与已收录的基准重复而合并。
- 核实：每个新条目都由另一个 agent 回到原始来源复核数字、日期、出处和数据链接。先前已在怎么衡量研究品味中整理过的 22 个，这次补查了数据能否获取；其中 BrainBench、SciPredict、IdeaBench、LiveIdeaBench、TastyBench 和 Trehan & Chopra 原先只核对过检索摘录（标 †），这次回到原文复核。20 个只在 OpenReview 上有、全文无法获取的论文（多为在审投稿或 workshop 论文），只核对了摘要和元数据，标 △。
- 分组、格子和重点由本站判断，依据见目录页的说明；有争议的条目在目录里注明了理由。