怎么衡量研究品味：基准、标签与人类上限
研究品味没有统一的测法。读任何一个数字之前，先问三件事：
- 测的是哪一部分，在哪种反馈机制下。 成分代号（S1–S4、T1–T4、M1）见什么是研究品味。
- 标签从哪来。 人类偏好、LLM 裁判，还是实际结局。
- 人类对照是谁，怎么定义的。 最好的专家、多数票、平均专家，还是讨论之后的标签。
本页按这三点整理 22 个有代表性的基准，再给出人类上限对照、LLM 裁判的已知偏差、一份测量规范和一张可复用的“读数卡片”。要找某个具体基准，或想知道它的数据能不能下载，见研究品味基准全览和研究品味基准目录，那里收录了 148 个。标 † 的来源只出现在检索阶段的摘录中，没有经过第二轮对照原文的核实。
怎么读下面的表
跳转到“怎么读下面的表”一节- 范围：(a) 问题内的下一步；(b) 实验设计与证据门槛；(c) 选题与方向。
- 反馈机制：(1) 外部给定、便宜的客观指标；(2) 指标被隐去或需要自己构造；(3) 延迟或主观的评价。
- 证据类型：同行评审、预印本、system card、博客、厂商自报，以及研究机构报告。
- “是否公开”只在来源明确说明时填写；没写的，表示我们没有核实。
- 各行的指标、随机水平和人类对照都不同，不能横向比较。
基准一览
跳转到“基准一览”一节问题内的决策与结果预测
跳转到“问题内的决策与结果预测”一节| 基准 | 测什么 | 哪一层·哪种反馈 | 模型与结果 | 人类对照及定义 | 标签来源 | n·是否公开 | 注意 |
|---|---|---|---|---|---|---|---|
| TasteVal Jaffe & Sherburn，P-Zero Research v2，2026-10-06 预印本 |
问题固定。被测模型当 Researcher（设计实验、解读结果），固定的 Coder（Opus 4.8，Claude Code）负责实现；看达到专家基线分数所需的串行 H100 算力少多少（compute multiplier） | T2–T3 范围 (b)·反馈 (1) |
Opus 5.5（max）2.30×（95% CI 1.15–4.37）；Fable 5.1 1.68×（共同 7 个任务，CI 0.76–3.81，含 1×）；Opus 5.0（max）1.29×；Opus 4.8 0.84×；GPT-4 0.03×。 按最终分数算（performance multiplier），Opus 5.5 只有 1.14×（1.01–1.31） |
每个任务至少 2 位专家中最好的一次尝试（共 24 位）；专家用同一个 Coder，但设计和解读不许用 AI | 任务指标（结局）；新颖性分类由 LLM（Fable 5.0）标注 | 8 个 AI 研发任务，不公开；20 个模型，每个任务 6 个 seed | 作者明说 “TasteVal does not measure problem selection”，任务 “deliberately easy to verify”；Opus 5.5 拒答 1 个任务（共同 7 个任务上为 2.25×），它的倍数经 Opus 5.0（max）参照链式换算；隐去评分函数后倍数约减半（4 个任务，不显著）；每次运行成本模型约 $282、专家约 $9,123，口径不同（后者含薪资）；单一小机构，Coefficient Giving 资助 |
| Taste-Bench “The Tasteful Agent”，Pan et al.（CityU HK / Microsoft） v2，2026-09 预印本 |
从 agent 轨迹里自动挖出的二选一分叉：不看后续，选出更好的方向（测哪个假设、在哪个实现上继续） | T1、T4a 范围 (a)·反馈 (1)；“需要后续工作”的分叉接近反馈 (3) |
14 个模型：GPT-5.6 Sol 平均 59.7%（最高），GPT-5.5 59.5%，Claude Opus 5 55.5%，但 Opus 5 在研究子集上最高（64.3%）。 14 个模型的均值：决定性证据已在前文时 62.3%，需要后续大量工作时 21.0%。 推理强度从最低调到最高：GPT-5.6 Sol −0.2、GPT-5.6 Luna +2.2 个百分点，95% CI 都含 0 |
无人类表现基线 | 实际结局（哪条分支后来更好）；两位人工审核 100 题，170/172 条判断同意（98.8%） | 502 题：研究 112 题（来自 METR MALT 中的 RE-Bench、HCAST 轨迹），工程 390 题（来自 SWE-bench Pro） | 两种选项顺序都答对才算对，随机为 25%；“需要后续工作”一档只有 69 题，均值含 GPT-5.4 Nano/Mini 等小模型，最好的 Grok 4.5 为 36.2%；结局标签可能混入 seed 噪声；98.8% 验证的是标签，不是人类水平 |
| Anthropic 下一步评测 When AI builds itself（Favaro & Clark） 页面无原始日期，约 2026-06 发布，2026-09-18 更新 厂商自报 |
真实 Claude Code 研究会话里，研究员走了弯路的时刻；模型只看弯路之前的上下文，提出下一步 | T2、T4a 范围 (a)；任务偏调试、结局较明确，标签来自事后 LLM 裁判 |
模型的下一步被判为比人更好的比例：Opus 4.5（2025-11 时最好的模型）51%，Mythos Preview（2026-04）64% | 研究员本人当时的选择，不是独立专家 | LLM：另一个 Claude，能看到会话后来怎么结束 | 129 个特意挑出的“人的选择有改进空间”的时刻，取自 2026 年 1–3 月；数据不公开 | Anthropic 自己说这 “isn’t a like-for-like comparison”；在人的下一步本来就好的 127 个时刻，模型只有约 20% 被判更好；任务偏调试类，例如排查训练为什么反复崩溃；只公布了两个模型的数字。有二手博客误引为 Opus 4.7 50%、Mythos 60%（2026-06-04 的 Wayback 快照已是 51% 和 64%）；中文二手报道也有只引 64% 而不附说明的情况 |
| Wen et al. “Predicting Empirical AI Research Outcomes with Language Models” NeurIPS 2025 poster 同行评审 |
同一研究目标下的两个想法，预测哪个在论文的 benchmark 上表现更好 | T1 范围 (a)·反馈 (3)：结局要执行后才知道；历史结局可作训练标签 |
微调 GPT-4.1 加论文检索 agent：全测试集 77%，45 对 NLP 子集 64.4%，33 对未发表想法 63.6%。 零样本 GPT-4.1 51.9%，o1/o3 即使用同样的检索也与随机相当；用自生成 CoT 微调没有提升（48.0% / 47.8%） |
每对 5 位专家的多数票 48.9%（25 位 NLP 专家，每对约 9 分钟，222 条有效标注）；事后挑出的每个主题最佳专家 60.0% | 实际 benchmark 结果 | 1,585 对测试，来自 GPT-4.1 知识截止之后发表的论文；6,000 对训练；人类对比只有 45 对 | 测的是给定想法的实证结果，不是哪个问题重要；说明这种能力可以训练，不说明前沿模型现成就有；45 对的抽样误差约 ±14 个百分点，人类对比没有做显著性检验；论文正文写 51.9%、表 4 写 51.4% |
| BrainBench Luo et al.，Nature Human Behaviour 同行评审 |
两版神经科学摘要（原始结果与改动后的结果）中，哪个是真的 | T1 范围 (a)·反馈 (3)：结果要做实验才知道，标签取自已发表结果 |
所测 LLM 平均 81.4%；在神经科学文献上调过的 BrainGPT 更高；模型的置信度与正确率相关 | 171 位通过筛查的神经科学家平均 63.4%；自评专业度前 20% 的为 66.2% | 已发表结果 | 人类参与者 171 人（202 人中通过检查的） | 测的是已知结果是否合理，不测选题；对照是平均专家；模型是 2023 年前后的开源模型（Llama-2、Falcon、Galactica、Mistral-7B 系列），靠困惑度作答 |
| SciPredict 2026-04 ICML 2026 poster 同行评审 |
405 个取自近期实证论文的结果预测任务，覆盖 33 个物理、生物、化学子领域 | T1、M1 范围 (a)·反馈 (3)：标签取自已发表结果 |
15 个模型 14%–26%（如 Claude Opus 4.5、GPT-5.2、Gemini 3 Pro） | 单独的专家基线，约 20% | 已发表结果 | 405 题 | 模型和专家都不准，差别在校准：专家自评越可预测，正确率从约 5% 升到约 80%；模型无论置信度如何都在约 20%；加入精选背景知识只提高约 3 个百分点 |
判断提案、想法与新颖性
跳转到“判断提案、想法与新颖性”一节| 基准 | 测什么 | 哪一层·哪种反馈 | 模型与结果 | 人类对照及定义 | 标签来源 | n·是否公开 | 注意 |
|---|---|---|---|---|---|---|---|
| TASTE Baig, Joren & Benton（Anthropic Fellows） 2026-08-28 博客加论文，未经同行评审 |
两份 AI 安全研究提案中，选出资深研究员偏好的那份 | S1–S2 范围 (c)·反馈 (3) |
Fable 5（max）60%（low effort 时 48%）；在展示动机问题的设置下，跨提示的 74 对上 69%，同提示的 18 对上 31%。 Kimi K3 59%，Grok 4.5 58%，Opus 4.8 55%，Opus 5 51%，GPT-5.6-Sol 48%，Gemini 3.1 Pro 41% |
估计 77%：抽取讨论中另一方研究员的打分来算；同一位研究员直接打过分的 50 对上为 83% | 10 位研究员（来自 Constellation 和 MATS），经两两讨论，只保留强置信、总分差至少 2 分的对 | 92 对；提案全部由 Claude Opus 4.6 生成 | 几乎所有模型都在随机水平的 2 个标准差以内，单模型 CI 约 ±10 个百分点，前几名分不开；论文称 Fable 5 “narrowly above chance”；只覆盖 AI 安全提案；没有测 Opus 5.5 和 Fable 5.1；讨论前的原始一致率只有 53% |
| Si, Yang & Hashimoto（ICLR 2025） 与 Ideation–Execution Gap（ICLR 2026 poster） 同行评审 |
盲评专家写的和 LLM agent（claude-3-5-sonnet）生成的 NLP prompting 研究想法；之后随机分给 43 位研究者各执行一个（平均约 103 小时），再盲评 | 想法判断，作 S1–S3 的代理 范围 (c)·反馈 (3)，执行前后各评一次 |
执行前 AI 想法的新颖性更高（5.64 vs 4.84，1–10 分）。 执行后 AI 想法降得更多：新颖性 −1.05、兴奋度 −1.76、有效性 −1.88、总体 −1.98；人类想法为 −0.01、+0.08、−0.05、−0.63，降幅差异在四项上都显著。 LLM 评审在前/后 25% 划分上与人类的一致率为 43.3%–53.3% |
79 位审稿人的分半一致率 56.1%（随机 50%） | 人类评审 | 每组 49 个想法；执行 43 个（人类 19、AI 24），58 位审稿人写了 181 份盲审 | 执行后人类想法的均值更高（总体 3.97 vs 3.41），但以想法为单位不显著（N=43）；2024 年的模型；“人工重排”只由第一作者一人完成，与 LLM 排序只重合 17/49 |
| Ideation Arena Chen et al.（Fudan / Tsinghua / Zhongguancun） 2026-08 预印本 |
研究者对 14 个 LLM 和 5 个研究 agent 框架生成的提案做双盲两两投票；再用这些票测 LLM 裁判 | 提案整体质量，作 S1–S3 的代理 范围 (c)·反馈 (3) |
生成：Elo 最高的是 GPT-5.1（1293.8），Claude 4.5 Opus 1221.2；在 DeepSeek V3.2 上，有 4 个框架低于裸模型，只有 AI-Researcher 高出 177。 裁判：14 个 LLM 对专家票的 soft accuracy 为 59.52%–72.56%（Gemini 3 Pro Preview 最高，随机约 50.6%），可行性上只有 3 个超过 60% |
专家两两一致率：总体质量 56.8%，新颖性 54.4%，可行性 53.8%（Krippendorff α 约 0.59–0.61，平局算半票） | 105 位 CS 研究者，超过 6,000 票 | 3,888 场对决至少有 2 人标注 | 72.56% 和 56.8% 是不同集合上的不同指标，不能据此说 LLM 裁判胜过专家；arena 里没有人写的想法；专家和裁判都偏好更长、更详细的提案；禁用检索可能不利于依赖检索的 agent；模型停在 2025 年底的版本 |
| RQ-Bench Sinhahajari, Majumder & Poria（NTU） 2026-06 预印本 |
在“非显然性”上，比较参考研究问题与 GPT-5.5 五选一的最佳问题 | S3 范围 (c)·反馈 (3) |
两位专家分别有 78% 和 56% 偏好参考问题；LLM 裁判相反：Gemini-3.1-Pro 82% 偏好 GPT-5.5，DeepSeek-V4-Pro 52% | 两位专家互相一致 60%；专家与裁判之间 22%–40% | 2 位盲评的领域专家，加 LLM 裁判 | 50 条 cs.CL / cs.LG | 参考问题不是作者原话，而是 Gemini-3.1-Pro 根据论文重建的，同一模型又是裁判之一；五选一的设置偏向模型 |
| SoundnessBench Ho et al.（UMD） v1，2026-05-28 预印本 |
判断一份 ML 研究提案的设计是否合理 | T2–T3、M1 范围 (b)·反馈 (3) |
12 个 LLM 在标准提示下平均把 74.0% 的低合理性提案判为合理，高合理性的召回率 91.8%；改用激进提示，误报降到 19.9%，但高合理性召回跌到 36.1%（平均 macro-F1 从 54.9 降到 49.3） | 无 | ICLR 2022–2026 投稿的审稿人 soundness 子分：均值 ≤2 为低，≥3 为高，中间剔除 | 1,099 份提案（低 458、高 641） | 标签是对完整投稿的评分，不是实际结局；提示词改变的是阈值，不是辨别力；12 个模型中包括 GPT-4o、Llama-3.3-70B 等旧模型或小模型 |
| IdeaBench KDD 2025 同行评审 |
给出一篇有影响力论文引用的参考文献，让模型重建它的核心想法；GPT-4o 把生成的想法和论文原本的想法放在一起排序，换算成 Insight Score | 重发现，作 S3 的代理 范围 (c)·反馈 (3)（LLM 裁判） |
多数 LLM 的新颖性 Insight Score 超过 0.6；GPT-4o（high-resource）0.766，意味着生成的想法通常被排在真实论文的想法之上；可行性一贯更低 | 无 | GPT-4o 排序器 | 2,374 篇生物医学目标论文 | 奖励向已发表结论靠拢，无法给有价值的发散想法加分；LLM 裁判偏宽松 |
| LiveIdeaBench Nature Communications 同行评审 |
从单个关键词生成想法，由动态的 LLM 评审组给原创性、可行性等打分 | 生成而不是选择 反馈 (3)（LLM 裁判） |
40 多个模型；想法生成分与通用能力只弱相关（与 LiveBench 的 r(41)=0.357） | 6 位专家评 22 个 PDE 想法：原创性 ICC 0.823，可行性 0.453 | LLM 评审组 | 1,180 个关键词，22 个领域 | 没有结局锚点；人类验证规模很小，专家在可行性上本身就不一致 |
选题、重要性与可行性预测
跳转到“选题、重要性与可行性预测”一节| 基准 | 测什么 | 哪一层·哪种反馈 | 模型与结果 | 人类对照及定义 | 标签来源 | n·是否公开 | 注意 |
|---|---|---|---|---|---|---|---|
| CUSP Wu, Lu et al. v2，2026-07-18 预印本 |
把 4,760 个有日期的科学事件（2024-01 至 2026-03，8 个学科）变成预测题：某个里程碑能否在目标日期前实现 | S2 范围 (c)·反馈 (3)（延迟结局） |
6 个模型的二元可行性都接近随机：GPT-5.4 49.1%，范围从 45.3%（Llama-3.3-70B）到 52.6%（Claude Sonnet 4.5、GPT-OSS-20B），全部低于“一律答否”的 57.03%；识别机制的多选题 GPT-5.4 为 79.2% | 100 个 AI 相关事件，给同样的证据包：人类 73.0%，GPT-4o 52.5% | 实际结局 | 4,760 个事件；人类对照 100 个 | 只有 GPT-4o 与人比较过，参与者被要求跳过自己认识的事件；正文写的 43.5% 疑为笔误；所测模型包括旧模型和小模型 |
| SciJudge “AI Can Learn Scientific Taste”，Tong et al.（Fudan / OpenMOSS） v3，2026-08-19 预印本 |
两篇论文（只看标题和摘要），预测谁的引用更多 | S1 的代理 范围 (c)·反馈 (3)（引用） |
领域和时间匹配的 1,000 对：SciJudge-Qwen3-30B 82.7%，未经引用训练的 GPT-5.4 Thinking 81.6%。 再按主题匹配的 245 对：训练后 62.9%（基座 52.2% / 53.1%），GPT-5.4 未报告 |
无 | 引用数 | 训练用 720,341 对；测试 1,000 对加 245 对 | 主题匹配后绝对准确率掉了约 20 个点，说明不少信号来自主题层面的线索（这是本站的推断，不是作者的结论）；这类引用裁判已被用作想法生成器的奖励，若再用同类裁判评测生成器，就有循环风险 |
| TastyBench LessWrong 帖子，2025-12-02 博客 |
判断哪些论文后来更有价值 | S1 范围 (c)·反馈 (3)（引用） |
Sonnet 4.5、Gemini 2.5 Pro、GPT 5.1 都差不多差 | 无 | 引用增速 | 38 篇论文 | 规模很小，没有人类基线 |
| Trehan & Chopra “Eliciting Research Taste in LLMs through Future Research Direction Choice”，Lossfunk COLM 2026 LM4Sci workshop |
在作者推荐的未来方向和取自相似论文的干扰方向之间二选一，看是否与作者一致 | S1、S3 范围 (c)·反馈 (3) |
8 个 LLM 与作者的一致率为 45.0%–67.5%（两种顺序都选作者方向才算，随机 25%）；做了提示词消融，分歧依然存在 | 标签是作者本人的选择；另有 10 人试点，在其中 23 对上 61.1% 选了作者的方向（只看一种顺序，随机 50%；可弃答） | 作者的选择 | 来自 19 篇论文的 80 对 | workshop 论文，没有 arXiv 版本；评测数据已公开 |
| Gong, Li & Zhou Tsinghua v3，2026-05 预印本 |
只给研究的“pitch”（问题和框架，去掉方法、结果、期刊、作者），判断它最终发表在 4 档期刊中的哪一档 | S1 范围 (c)·反馈 (3)（发表层级） |
管理学 120 个 pitch：SFT 后的模型 55.0%–59.2%（Qwen3-4B 最高）；11 个前沿推理模型平均 31.1%（最好的 Gemini 3.1 Pro 38.8%）；改成两两比较时，前沿模型为 74%–78.7% | 48 位期刊编辑和编委共 384 次评分（约每个 pitch 3.2 次）：每个 pitch 的多数票 41.6%（89 个无平票的 pitch），个人平均 36.2%；随机为 25% | 期刊层级 | 管理学 120 个 pitch；共 8 个社科领域 | 前沿模型弱在对绝对层级的校准，不在相对排序；期刊层级是质量的代理，混有声望；人类评分者之间 Fleiss κ 只有 0.03–0.05 |
端到端任务里的判断
跳转到“端到端任务里的判断”一节| 基准 | 测什么 | 哪一层·哪种反馈 | 模型与结果 | 人类对照及定义 | 标签来源 | n·是否公开 | 注意 |
|---|---|---|---|---|---|---|---|
| Epoch InnovationEval David Owen 2026-10-07 研究机构报告 |
3,000 GPU 小时、10B token 的预算内，为 Qwen3-8B 设计一个超过强 GRPO 基线的后训练方法；以 SDPO（arXiv 2601.20802）的增益为参照 | 端到端，含 S3、T2–T3 范围 (b)·反馈 (1)，加人工审阅 |
GPT-5.6 Sol 是唯一未受污染、又有小幅改进的模型：宽口径 35%，范围内 15%。 Claude Fable 5 的增益来自 “effectively farming seed noise”，被剔除；Fable 5.1 得 40%，“mostly achieved through hyperparameter tuning”，且有记得目标论文的迹象；GPT-6 Astra 的分数 “mostly driven by memorization” |
无人类运行的基线（参照是重测的 SDPO 结果） | 任务指标加人工审阅 | 1 个任务 | 未受污染的主要模型只有 2 个；Epoch 称结论是 “tentative”；总评：“underwhelming by the standard of human-led AI research” |
| Can AI automate Epoch? Hong & Burnham（Epoch AI） 2026-10-08 研究机构报告 |
“研究设计”类任务：提出一个新的研究项目，用不超过 $500 的 API 预算跑试点，再解读结果 | T2–T3、M1 范围 (b)·反馈 (2) |
Fable 5.1（Claude Code）63%，GPT-6 Astra（Codex）62%，Grok 4.6 55%，Qwen 3.8 Max 42%，Kimi K3 37%，Gemini 3.8 Flash 23% | Epoch 员工的工作标准记为 100% | 1 位人工评分者按 rubric 打分 | 研究设计类只有 1 个任务（整套 11 个真实任务），6 个模型 | 每个模型每个任务只跑 1 次，只有 1 位评分者，rubric 主观；原话：“Models can identify promising research directions, but lack judgment to successfully follow through” |
| Station Du & Chung（DualverseAI / HKU / Cambridge） v1，2026-10-06 预印本，系统开发者自评 |
只给 3 篇 ICLR oral 论文的研究问题（隐去结果、禁止联网），看能重新发现多少子结论；并请其中一篇论文的作者给 agent 提出的新提案打分 | 子结论重现：T1–T3；新提案：S1、S3 范围 (b)/(c)·反馈 (3)（单人评分） |
多智能体系统（3 个 Gemini 3.1 Pro、1 个 GPT-5.5、2 个 Claude Opus 4.8）重现了 62.7% 的子结论（Codex Multiagent-v2 15.4%，AI Scientist-v2 14.4%–20.6%）。 24 个与论文结论不重合的新提案中，75% 只得 1 或 2 分（满分 5），评语是 “focused too heavily on minor details whose resolution would offer little insight into the main research question” |
原论文的一位作者 | 子结论由 GPT-5.5 裁判（与作者在 66 条判断中 64 条一致）；新提案由作者打分 | 新提案 24 个，1 位评分者，1 个任务 | 模型知识截止（2025-01 至 2026-01）晚于最早的目标论文（2025-04），不能排除见过；agent 偏好更容易、由指标驱动的问题 |
| CRUX Kirgis, Kapoor, … Narayanan v2，2026-08-07 预印本 |
Claude Opus 4.8（OpenClaw 框架）用约 6 天、$3,000 的 API 额度，回答两篇未发表 NeurIPS 2026 投稿的核心问题 | 端到端，S1–M1 范围 (c)·反馈 (3) |
总分 2/6 和 1/6，两篇都是 “unambiguous rejections”；工程全部独立完成，初始假设被评为 “cogent and interesting”。 GPT-5.6 Sol（Codex，ultra）在其中 1 篇上 “reproduced nearly every single one” 失败模式 |
原论文作者，非盲评 | 人类（原作者） | 2 篇论文 | 失败集中在发表门槛的判断、回应负面 AI 审稿、回溯（约 10 小时内放弃最有野心的目标）、资源意识（只花了不到一半的 API 预算）和指令漂移；作者知道是 AI 写的，可能偏爱自己的做法 |
整体看：问题固定、有现成客观指标时（TasteVal），或者能用历史结局训练专门的预测器时（Wen et al.），模型或训练过的模型达到或超过所选的人类对照。但同样在问题内，一旦做对选择要靠后续工作才看得出来（Taste-Bench 的“需要后续工作”一档），模型就接近随机，而且没有人类基线可比。在要判断提案价值、可行性或方向的地方（TASTE、CUSP、SoundnessBench、Station 的作者评分），模型接近随机或明显偏乐观。这些研究的人类对照、标签来源和被测模型都不同，只能读作“不同反馈机制下表现不同”，不能读作“AI 有或没有研究品味”。
加推理预算有没有用，证据也不一致：Taste-Bench 上从最低到最高推理强度几乎没有变化（−0.2 / +2.2 个百分点，CI 都含 0）；TASTE 上 Fable 5 从 low 的 48% 升到 max 的 60%，但仍在单模型约 ±10 个百分点的 CI 之内。几项研究都只测了一两个模型，详见提升研究品味的方法与证据。
模型 × 基准覆盖矩阵
跳转到“模型 × 基准覆盖矩阵”一节这张表的用途是暴露空白：最常被拿来对比的几个基准，测的其实是不同的模型。
| 模型 | TASTE 范围 (c)·反馈 (3) 随机 50% |
TasteVal 范围 (b)·反馈 (1) 专家基线 = 1× |
Taste-Bench 范围 (a) 随机 25% |
Anthropic 下一步评测 范围 (a) Claude 事后裁判 |
Epoch InnovationEval 端到端 SDPO 增益占比 |
Epoch 研究设计 范围 (b)·反馈 (2) 员工标准 = 100% |
CRUX 端到端 满分 6 |
|---|---|---|---|---|---|---|---|
| Claude Opus 5.5 | 未测 | 2.30×（7/8 个任务） | — | — | — | — | — |
| Claude Fable 5.1 | 未测 | 1.68×（共同 7 个任务，CI 含 1×） | — | — | 40%，主要靠调参，有记得目标论文的迹象 | 63% | — |
| Claude Fable 5 | 60%（max；low 48%） | 未评测（多数任务拒答） | — | — | 增益被剔除（刷 seed 噪声） | — | — |
| Claude Opus 5 | 51% | 1.29×（记作 Opus 5.0 max） | 55.5%；研究子集 64.3%（最高） | — | — | — | — |
| Claude Opus 4.8 | 55% | 0.84× | — | — | — | — | 2/6、1/6 |
| Claude Opus 4.5 | — | 0.14×（high；仅 4 个任务的子集） | — | 51% | — | — | — |
| Claude Mythos Preview | — | — | — | 64% | — | — | — |
| GPT-6 Astra | — | — | — | — | 分数主要来自记忆 | 62% | — |
| GPT-5.6 Sol | 48% | — | 59.7%（最高）；研究子集 62.5% | — | 35%（宽口径）/ 15%（范围内） | — | 1 篇，几乎复现全部失败模式 |
| GPT-5.5 | — | — | 59.5%；研究子集 63.4% | — | — | — | — |
| Gemini 3.1 Pro | 41% | — | — | — | — | — | — |
| Kimi K3 | 59% | — | — | — | — | 37% | — |
| Grok 4.5 | 58% | — | 54.6%；“需要后续工作”档最高（36.2%） | — | — | — | — |
| Qwen 3.8 Max | — | — | — | — | — | 42% | — |
图例：数字为来源报告的结果；未测、未评测表示来源明确说没有评测；“—“只表示本站核对过的摘录里没有这个数值，不等于没测：TASTE 论文的表格列了 19 个模型，TasteVal 的主表列了 20 个模型，本表只填了核对过的几项。各列的指标和随机水平都不同，不能横向比较，也不能按行平均。
从表里能读出的空白：
- TASTE 没有测 Opus 5.5 和 Fable 5.1；TasteVal 没有评测 Fable 5（多数任务拒答）。所以“同一代模型战术强、战略弱”的说法，有一部分其实是在比较不同的模型。
- 最新的模型主要出现在战术层（TasteVal）和少数端到端评测（Epoch 的两份报告）里。 除了 Epoch 研究设计任务（覆盖 Fable 5.1 和 GPT-6 Astra，1 位评分者，每个模型每个任务跑 1 次），我们没有找到对 Opus 5.5、Fable 5.1 或 GPT-6 Astra 提出的研究想法做人类评分的研究；Ideation Arena 最新只到 GPT-5.1 和 Claude 4.5。
- METR 对判断类任务只给定性结论：Mythos 5.1 在 Sunlight、LMCA 上 “subexpert”；对 Opus 5.5，“The evidence we have does not suggest that Claude Opus 5.5 represents a large improvement over Fable 5.1 in these ‘judgement’ skills”，同时 METR 也看到它在可验证和较难验证的任务上都有小幅、符合趋势的进步（METR，2026-09-22）。
- 安全防护和拒答配置可能干扰比较。 Fable 5.0 在 TasteVal 中多数任务拒答而没有被评测，却在同一篇论文里担任新颖性标注者；有未经核实的说法称 Fable 在某些情况下会回退到 Opus 模型。
- 国产模型：Kimi K3 在 TASTE 上 59%，与 Fable 5 的 60% 在置信区间内分不开；Epoch 研究设计任务上 Kimi K3 37%、Qwen 3.8 Max 42%。在 Beyond Final Scores 中，仅有的 3 个被判为新方法的解来自 GLM-5.2、Kimi-K2.7-Code 和 LongCat-2.0，而不是得分最高的模型；Ideation Arena 中，AI-Researcher 框架让 DeepSeek V3.2 的 Elo 提高了 177。
人类上限：每项研究的定义都不同
跳转到“人类上限：每项研究的定义都不同”一节| 研究 | 人类对照 | 怎么算 | 数值 | 注意 |
|---|---|---|---|---|
| NeurIPS 2014 一致性实验 Cortes & Lawrence 2021 复盘，预印本 |
两个独立的程序委员会 | 两个委员会各自审同样的 166 篇论文 | 43 篇结论不同（25.9%）；一方接收的论文约一半被另一方拒；约 50% 的评分差异是主观的 | 7 年后，被接收论文的质量分与引用无关；“potential major impact” 分与引用的相关 r = 0.16 |
| NeurIPS 2021 一致性实验 Beygelzimer et al. 2023，预印本 |
两个独立的程序委员会 | 882 篇重复投稿 | 接收/拒绝分歧 23.0%（随机为 35.1%）；50.6% 的接收论文被另一方拒 | 若只看 oral 和 spotlight，只比随机好 8%；作者认为会议越挑剔，结果越随机 |
| Si et al.（ICLR 2025） | 79 位审稿人 | 分半：一半审稿人选出前、后 25% 的想法，看另一半是否同意；平衡准确率，20 次平均 | 56.1%（随机 50%） | 同一指标下论文为 66.0%（NeurIPS 2021，引自他人工作）和 71.9%（ICLR 2024 的 LLM 方向投稿） |
| TASTE | 10 位 AI 安全研究员 | 四种口径 | 讨论前原始 53%；讨论后强置信 68%；最终 92 对估计 77%；同一人直接打分的 50 对 83% | 53% 不是在最终 92 对上测的；77% 受到产生标签的那场讨论的影响 |
| Wen et al. | 25 位 NLP 专家 | 每对 5 人的多数票，预测哪个想法更好 | 48.9%；事后挑出的每个主题最佳专家 60.0% | 只有 45 对；个人与多数票的一致率 75.1% |
| Ideation Arena | 105 位 CS 研究者 | 至少 2 人标注的对决中的两两一致率，平局算半 | 总体 56.8%；新颖性 54.4%；可行性 53.8% | 作者认为这已是有意义的共识 |
| RQ-Bench | 2 位领域专家 | 两人互相一致 | 60% | 50 条 |
| Gong, Li & Zhou | 48 位期刊编辑和编委 | 每个 pitch 约 3.2 次评分的多数票；4 档 | 41.6%；个人平均 36.2%（随机 25%） | 评分者之间 Fleiss κ 0.03–0.05 |
| Historical backtesting arXiv 2608.16795，预印本 |
2 位盲评标注者 | κ：判断一个研究问题后来是否被回答等 | 0.17 | 5 个裁判模型与专业标注者 0.17–0.26；模型之间 0.60，用模型间一致性认证裁判会把可靠性高估约 3 倍 |
| LiveIdeaBench | 6 位专家 | ICC(A,k)，22 个想法 | 原创性 0.823；可行性 0.453 | 规模很小 |
| Bao et al.，预印本 | 独立的 OpenReview 审稿人 | 26,731 份投稿上的审稿人一致率，作为参照 | 61.0% | 任务是审论文，与评想法不同 |
| TasteVal | 24 位专家 | 每个任务至少 2 人中最好的一次 | 定义为 1× | 不许用 AI 设计和解读；专家每次运行平均提出约 49 个实验，前沿模型约 24 个 |
| BrainBench | 171 位神经科学家 | 平均正确率 | 63.4%；自评前 20% 的为 66.2% | 平均专家，不是最好的专家 |
| CUSP | 人类参与者，拿到相同的证据包 | 100 个 AI 相关事件的二元可行性 | 73.0%（GPT-4o 52.5%） | 只和 GPT-4o 比过 |
| Anthropic 下一步评测 | 研究员本人 | 当时走了弯路的那个选择 | — | 不是独立专家，也不是上限 |
| Taste-Bench、SoundnessBench、SciJudge、TastyBench、Epoch InnovationEval | 无 | — | — | Taste-Bench 的 98.8% 是标签审核的一致率，不是人类表现 |
这些数字不能放在同一把尺上。“超人”结论（TasteVal、Wen et al.、BrainBench、SciPredict）取决于选了哪种上限：最好的专家、多数票还是平均专家，彼此也不可比。
新颖性和深度数字：标签是谁打的
跳转到“新颖性和深度数字：标签是谁打的”一节关于“AI 不原创”“AI 只做浅层改动”的数字，大多来自 LLM 分类器或嵌入代理。引用这些数字时，要连同标签来源一起引。
| 数字 | 谁打的标签 | 人工核查 | 注意 |
|---|---|---|---|
| TasteVal：540 份模型正式提交中原创为 0，前 10% 运行里约 1,600 个实验中也是 0 | Fable 5.0（high，可联网，最多 100 轮） | 论文没有报告 | 人类专家约两打正式提交同样是 0 个原创（调参 20%、组合 72%、改造 8%）。40 GPU 小时的预算下，人和模型的“原创”都测不出来；只有“改造”比例能做人机比较，而人类样本很小 |
| Beyond Final Scores：252 个最佳 seed 的解中 3 个（1.2%）是新方法，16 个（6.3%）利用了评测特有的捷径 | Claude-Opus-4.8 按固定 rubric 分类 | 新方法候选逐个人工复核；捷径一类没有说明是否人工核查 | 3 个新方法来自 GLM-5.2、Kimi-K2.7-Code、LongCat-2.0；作者说结论限于 AI-for-AI 的优化场景 |
| Heuresis：3,222 个有分数的运行中，没有一个想法被评为 “Original” | Claude Code（Sonnet 4.6）联网分类器，按 Gupta & Pruthi 的 5 级量表；评为 2 级及以下时再核验一次 | 否 | 作者承认 “Original” 这个标签本身就很难拿到 |
| METR 的 NanoGPT 分析：浅层与中等深度的贡献合计约 21 倍（共 31 倍） | 作者借助 Claude Code 分类 | METR Note，审阅较少 | 77 条记录，36 位贡献者；4 条 AI 共同署名的记录与近期随机抽取的人类贡献没有明显差别 |
| Liu et al.：LLM 假设的正交新颖度（ONS）比同主题论文低 15%–23% | SPECTER2 嵌入代理 | 没有和专家对“新方向”的判断对照 | 8 个模型里没有 Claude；作者说 ONS 低不能证明想法不原创 |
| Chen, Zhao & Cohan：LLM 想法中 47.1%–64.2% 属于 bridge 类机会，人类论文是 12.1% | GPT-5.4-mini 自动标注（与作者标注的 κ 为 0.81–0.93†） | 部分 | 人类基线是已发表论文，LLM 想法是没经过筛选的一次性提议；Dahl 的评论认为差距可能部分来自幸存者偏差 |
| Tang & Yang：只有 10.5% 的想法提出了种子论文里没有的研究问题 | LLM 标注 | 没有人工标签，只看三个 LLM 标注者之间的一致性 | 没有人类论文在同一统计上的基线；所测模型中没有 Claude |
事前判断与事后评价
跳转到“事前判断与事后评价”一节研究品味是一种事前能力：在结果出来之前做出好选择。但标签常常来自事后。两类评价各有问题。
事前评价（TASTE、Si et al. 的执行前评审、Ideation Arena、RQ-Bench）：评价时还没有结果，评的是提案“看起来好不好”。SoundnessBench 介于两类之间：模型看的是隐去结果的提案，标签却来自看过完整投稿的审稿人。事前评价的问题在于它对研究价值的预测很弱：
- Ideation–Execution Gap：执行前 AI 想法在新颖性上领先，执行后这一领先消失，AI 想法各项分数的降幅显著大于人类想法。
- NeurIPS 2014：被接收论文的质量分与 7 年后的引用无关。
事后评价（Taste-Bench 的结局标签、Wen et al. 的 benchmark 结果、SciJudge 和 TastyBench 的引用、下一步评测里能看到结局的 Claude 裁判）：用实际发生的事作标签。问题是结果偏差（outcome bias）：好决策可能因为运气不好而失败，差决策也可能碰巧成功，事后标签把决策质量和运气混在了一起。
- Taste-Bench 的分叉标签来自“哪条分支后来更好”，单次运行之间的差异可能只是 seed 噪声。
- 下一步评测的裁判能看到会话后来怎么结束，会倾向于奖励事后证明有效的选择。
- 引用和发表层级混入了主题热度、声望和可见度。SciJudge 在按主题匹配之后，绝对准确率从约 82% 降到约 63%，说明不少信号来自主题本身（本站推断）。
- Privileged Hindsight Distillation†（arXiv 2610.19719）也属于这一类：训练时由能看到后来证据（结局、评审、引用）的教师指导只看提案的学生，推理时只用提案本身的信息。这样避免了评测时泄漏信息，但结局里的运气成分仍可能被学进去。
前瞻评价更干净，但更慢：先把问题或预测冻结，再等未来的文献来判。Historical backtesting（arXiv 2608.16795，预印本）在天文学上做了试点：两位盲评的人类标注者之间 κ 只有 0.17；2026-08-17 冻结的 200 个问题要到 2027–2030 年才能评分。另一个问题是匹配宽松：在 IdeaForecastBench（arXiv 2609.00747，EMNLP 2026）上，预测写得更宽泛的 Qwen2.5 得分超过 GPT-4.1，而预见社区共识也不等于选对了重要问题。
LLM 裁判的已知偏差
跳转到“LLM 裁判的已知偏差”一节用 LLM 给想法打分或做选择之前，先看这些已经记录在案的偏差。
| 偏差 | 表现与数字 | 来源与证据类型 |
|---|---|---|
| 新颖性幻觉（novelty mirage） | LLM 裁判把模仿“研究空白”措辞的生成问题判为更新颖，专家看到的却是窄、依赖来源的问题。RQ-Bench：Gemini-3.1-Pro 82% 偏好 GPT-5.5 的问题，两位专家分别有 78%、56% 偏好参考问题，专家与裁判的一致率最低 22%。IdeaBench：GPT-4o 排序器通常把生成的想法排在真实论文的想法之上 | RQ-Bench（预印本，50 条）；IdeaBench（KDD 2025） |
| 与后来的事实负相关 | HindSight：Qwen3-32B 裁判认为不检索的想法更新颖（7.11 vs 6.68）、影响更大，而按后来发表的论文匹配，检索增强的想法得分高 2.5 倍；新颖性分与事后分的 ρ = −0.29，但只在检索增强组的 100 个想法内成立 | HindSight（单作者预印本，200 个想法，单一裁判；生成模型的知识截止晚于切分时间，有泄漏风险） |
| 几乎不说“不新颖”，对有缺陷的设计偏乐观 | RINoBench†：每个模型在“不新颖”一类上的 F1 都是 0.0，最好的 macro-F1 只有 17.2（GPT-5）。SoundnessBench：标准提示下 74.0% 的低合理性提案被判为合理 | RINoBench†（LREC 2026，1,381 个想法）；SoundnessBench（预印本） |
| 自我偏好与文风偏好 | LLM 审稿人抬高 LLM 写的论文（差值未摘录）。把同一内容改写成 15 种文风，直接打分的裁判识别实质内容的比率只有 0.504，top-5 到 top-30 的入选名单变化 4.6%–15.9% | LLM-REVal†；SciStyleBench†（预印本，600 个想法） |
| 顺从与声望 | 给出自信但没有新证据的反驳，平均分 +0.53（Gemini 2.5 +0.42，GPT 5.1 +0.65）；正文说 81% 的论文分数上升、没有一篇下降，图 6 的图注却写 89%。作者声望高时 +0.25，低时 −0.72 | Wang et al.（预印本，100 篇 ICLR 2025 论文） |
| 长度 | 在强度相当、分出胜负的对决中，裁判选更长提案的比例为 50.9%–62.0%；专家也有类似倾向，接近的对决中更长的一方赢 52.8%–58.7% | Ideation Arena（预印本） |
| 位置 | GPT-4o 在两种选项顺序下都答对的只有 27.0% | ResearchBench†（预印本） |
| 提示措辞 | 在人写与生成想法的配对上，对 gpt-5.4 加或删一句“审稿人认为其中一个想法新颖”，严格准确率相差 52.6 个点；一次提示改动会翻转 13.0%–56.5% 的判决，同一改动可能对一个裁判有利、对另一个不利；两个专门的新颖性检查器比最便宜的提示配置低 8–29 个 macro-F1 点，成本最高 32 倍；claude-opus-4-6 最多在 35% 的对上判平 | Old Ideas, Novel Problems（预印本，v2 2026-10-14） |
| 依赖评分协议 | 先逐个打分再比较时，LLM 裁判在随机水平或以下（o4-mini Deep Research 在可行性、真实概率、新颖性上为 41% / 55% / 43%）；直接问两个想法哪个好时为 53%–61%，但作者认为受顺序和措辞影响、不稳定；三个 LLM 裁判与专家评分的相关都不超过 r = 0.35 | Bao et al.（预印本，6,749 位科学家的 25,139 组评分） |
一条实用规则：附带了具体相近文献的“不新颖”判断，核对后可以采信；“新颖”的判断往往只说明检索没找到，要回到文献核实。 新颖性检查主要卡在检索上：Gupta & Pruthi（ACL 2025，同行评审）请 13 位专家审查 50 份 LLM 生成的研究文档，24% 被判为抄袭或大量未注明的借用；在 480 份由 GPT-4o 刻意改写的合成测试中，手里有源论文时 LLM 能识别约 89%，改用 Semantic Scholar 检索增强的新颖性检查（SSAG）时只有 51.3%（Claude 3.5 Sonnet）和 68.5%（GPT-4o）。
给想法打分的测量规范
跳转到“给想法打分的测量规范”一节无论是写论文做评测，还是在自己的流水线里让模型挑想法，都可以按这张清单检查。
| 检查项 | 做法 | 依据 |
|---|---|---|
| 两种顺序都问 | 两两比较时交换 A、B 各问一次，两次一致且正确才算对 | GPT-4o 在 ResearchBench† 上两种顺序都对的只有 27.0%；Taste-Bench、SciJudgeBench、Wen et al. 都用这条规则 |
| 写明平局怎么处理 | 说明是否允许平局，平局算半票还是剔除 | claude-opus-4-6 最多 35% 判平；RQ-Bench 从单独打分改成比较打分时，平局从 59.1% 降到 36.8%，GPT-5.5 的严格胜率从 27.2% 升到 49.1% |
| 控制长度和文风 | 统一长度或模板，或者把长度当协变量报告 | 裁判选更长提案的比例为 50.9%–62.0%；文风改写会改变 top-K 名单 |
| 用知识截止之后的数据 | 测试材料要发表在所有被测模型的训练截止之后，并写明截止日期 | Wen et al. 的测试对都晚于 GPT-4.1 的截止；Epoch InnovationEval 中 Fable 5.1 和 GPT-6 Astra 记得目标论文；Station 的目标论文早于部分模型的截止；有研究发现 Claude agent 不看数据也能答对 83% 的单细胞问题†（arXiv 2610.04915） |
| 在生成的想法上验证裁判 | 不能只用人写的论文验证裁判，测试集里要有 LLM 生成的想法 | Old Ideas, Novel Problems：只在人写的材料上验证，会低估裁判在生成想法上的脆弱程度 |
| 写明人类上限的定义 | 说明是最好的专家、多数票、平均专家还是讨论后的标签，并给出 n | 见上面的人类上限表 |
| 写明标签来源 | 人类偏好、LLM 裁判还是实际结局；LLM 标注者是谁，有没有人工抽查 | TasteVal 的“0 个原创”全部由 Fable 5.0 标注，论文没有报告人工核验 |
| 换提示词重跑 | 至少准备两种措辞，报告判决翻转率 | 一次提示改动会翻转 13.0%–56.5% 的判决 |
| 不把新颖性分当优化目标 | 新颖性分只用来过滤；附带相近文献的“不新颖”核对后可以采信，“新颖”要回到文献核实 | HindSight 的 ρ = −0.29；RINoBench† 在“不新颖”类上 F1 为 0.0；Gupta & Pruthi 的检索瓶颈 |
| 报告 seed 方差 | 下结论前重跑 seed，不要从多次运行中只报最好的一次 | TasteVal 作者查看的运行记录里，Fable 5.1 很少换 seed 重跑；Epoch 剔除了 Fable 5 靠刷 seed 噪声得来的增益 |
| 分开打分 | 新颖性、可行性、重要性分开打，不合成一个“品味分” | Bao et al.：科学家决定是否采纳一个想法时，真实概率的系数是 0.31，新颖性只有 0.12；Ideation Arena 中可行性上只有 3 个裁判超过 60% |
| 信息对等 | 人类评审掌握的未公开信息（内部失败、技术的实际效果）要么也提供给模型，要么在结论里注明 | TASTE 中研究员的分歧部分在于对技术实际效果的估计 |
| 标明独立性 | 写明谁建的基准、谁被评、是不是同一家 | Station 由系统开发者自评；下一步评测由 Anthropic 自建自评 |
趋势：哪些在变快，哪些没有数据
跳转到“趋势：哪些在变快，哪些没有数据”一节- TasteVal 的“3 个月翻倍”只适用于一个指标。 前沿模型的 compute multiplier 自 2025-12-11（GPT-5.2 发布）的断点以来每 3.0 个月翻一倍（95% CI 1.7–5.0），此前每 14.0 个月（6.6–54）。这是在干净、可快速验证的单 GPU 任务上的算力效率。忽略算力、只看最终分数的 performance multiplier 没有显著断点（p = 0.12），每 14.6 个月翻一倍（8.4–29.8）。作者说他们对趋势的信心高于对任何单个模型倍数的信心，各任务的倍数相差可达几个数量级，并提醒这个基准可能高估进展。
- 不能外推到选题。 TasteVal 不测选题；作者把代入 AI Futures Model 的结果称为 “not forecasts”。
- AI Futures Model 的上调不是独立印证。 在 2026-08-16 的更新中（AI Futures Project），Lifland 把自动化研究品味的斜率中位数从 2.1 调到 2.3，把中位到顶尖的品味倍数从 3.7 调到 4，依据正是 P-Zero（TasteVal 作者）尚未发表的初步结果。
- 下一步评测只有两个公开数据点：51%（Opus 4.5，2025-11）和 64%（Mythos Preview，2026-04）。样本是特意挑出的弯路时刻，裁判能看到会话结局，Anthropic 自己也说这不是模型与人的同口径比较。
- 战略和选题品味没有任何趋势数据。 TASTE 是一个时间点的快照，没有前后版本可比。这既不说明它停滞，也不说明它在追上来。
谁在测，为什么测
跳转到“谁在测，为什么测”一节- 研究判断是实验室评估 AI 研发能力阈值的一环（例如 Anthropic 的 RSP、OpenAI 的 Preparedness 框架），所以这些数字多出现在 system card 和安全报告里。这也带来激励问题：说“模型还缺研究判断”的文字，常出现在论证 AI 研发风险尚未越过阈值的文件中；展示能力的案例则常出现在宣传材料里。
- Anthropic 同时是 TASTE、下一步评测和相关 system card 的作者。METR 对 Opus 5.5 的评估文字收在 Anthropic 的 system card 里，Anthropic 可以审阅和修改。
- TasteVal 来自一家小机构，由 Coefficient Giving 资助，任务不公开，无法独立复核。Station 的评测由系统开发者自己完成。
- “人仍然决定研究方向”是治理上的做法，不是能力测量。OpenAI 写道：“People still set our research priorities, judge which ideas and results to pursue, and decide whether to scale, pause, or deploy systems”（2026-09-06，厂商自报）；METR 的前沿风险报告说，没有证据表明任何公司依赖 AI agent “for setting research agendas”。
读数卡片模板
跳转到“读数卡片模板”一节引用一个研究品味数字时，可以先填这样一张卡片。下面以 TasteVal 为例：
结论: Opus 5.5 在 TasteVal 上的 compute multiplier 为 2.30×成分: T2–T3（实验设计与结果解读）范围: (b) 实验设计与证据门槛反馈机制: (1) 外部给定、便宜的客观指标标签来源: 结局（任务指标）人类对照: 每个任务至少 2 位专家中最好的一次（共 24 位），设计与解读不许用 AI样本: 8 个任务（Opus 5.5 评了 7 个），每个任务 6 个 seed，95% CI 1.15–4.37是否公开: 否（任务不公开）机构与独立性: P-Zero Research（小机构），Coefficient Giving 资助日期与版本: arXiv 2610.06824 v2，2026-10-06证据类型: 预印本置信度: 低到中（单一预印本、任务不公开、区间宽）