证据地图：哪些层面强、哪些层面弱
“AI 有没有研究品味”这个问题问得太粗。同一代模型可以在一个基准上超过专家基线，在另一个基准上接近随机。两者并不矛盾，因为它们测的是不同的东西。本页把公开证据放到两条轴上，逐格并列支持“强”和支持“弱”的证据，最后汇总成一张 3×3 表。
标 † 的数字或引文只来自检索阶段的摘录，没有经过第二轮对照原文的核实。
怎么读这一页
跳转到“怎么读这一页”一节两条轴
跳转到“两条轴”一节主轴是反馈机制：评价信号由谁提供、多快到达。
| 行 | 含义 | 例子 |
|---|---|---|
| (1) 外部给定、便宜的客观指标 | 问题自带评分函数、benchmark 指标或形式化验证，每次尝试很快拿到分数 | NanoGPT speedrun 的训练时间；TasteVal 的任务指标；Lean 证明 |
| (2) 指标被隐去或需要自己构造 | 评分函数看不到，或者要自己决定测什么、怎样测才算数 | TasteVal 隐去评分函数的变体；Epoch 的“研究设计”任务 |
| (3) 延迟或主观的评价 | 要做很多后续工作才看得出好坏，或者只能靠专家判断 | Taste-Bench 中要靠后续工作才能判断的分叉；TASTE 的专家偏好；会议审稿 |
次轴是范围：判断作用在多大的尺度上。
| 列 | 含义 | 对应术语 |
|---|---|---|
| (a) 问题内的下一步 | 问题已经定了，决定接下来试什么、要不要换路 | 战术品味（实验品味） |
| (b) 实验设计与证据门槛 | 设计真正测到目标的实验，判断结果是否显著、证据是否够用 | 战术品味（实验品味）；“证据够不够”属于元判断（校准） |
| (c) 选题与方向 | 在问题或方向之间判断哪个更重要、更值得做 | 战略品味（选题品味） |
下文用 (1a)、(3c) 这样的记号指代格子。术语的完整定义见什么是研究品味。
四个证据层级
跳转到“四个证据层级”一节| 层级 | 能回答 | 不能回答 | 本页的例子 |
|---|---|---|---|
| 1. 能力测量 | 在某个具体任务上，模型和某种人类对照相比如何 | 任务之外能否推广；没有人类对照时，谈不上“差距” | TasteVal、Taste-Bench、TASTE、CRUX、Epoch、Anthropic 的下一步评测 |
| 2. 实验室实践与治理表态 | 实验室现在让人做什么、让 AI 做什么，员工怎么评价 | 模型能不能做。“人仍然定方向”是治理选择，不是能力测量 | 各家 system card、OpenAI 的研究加速博客、Gemini 4 安全报告、METR 前沿风险报告 |
| 3. 会议观察 | 投到会议的 AI 生成论文在审稿中的遭遇 | 模型品味本身。论文由人挑选、由人投递，其中包括疑似论文工厂的作者，存在投稿者选择的混杂 | COLM 2026、ICLR 2027 程序主席博客；Agents4Science 2025 |
| 4. 专家文章与评论 | 有经验的研究者怎样理解这个问题、提出了哪些假设 | 任何定量结论 | Schwartz、Karpathy、Tao、Jack Clark 与 Herbie Bradley、DeepMind 的 Conjecture Machines |
独立性
跳转到“独立性”一节| 标记 | 含义 |
|---|---|
| 独立 | 与被测模型或系统没有利益关系的第三方设计、执行并发布 |
| 半独立 | 第三方执行，但文字发在厂商文档里、厂商可以审阅修改（METR 在 system card 中的评估）；或评审独立、项目接受厂商资助（FirstProof） |
| 自评 | 厂商或系统开发方评估自家模型、自家系统或自家内部情况（包括 Anthropic Fellows 项目的工作） |
两种激励方向相反，读的时候都要考虑：说“模型缺乏判断力”的话，常出现在论证“AI 研发风险低于阈值”的安全文件里；能力展示则常出现在发布和营销材料里。另外，AI 2027、AI Futures Model、METR 和 Epoch 共用一套预测框架，把品味定义为“每次实验的价值”，和人类文章里“会选题”的意思不同。
先看结论
跳转到“先看结论”一节- (1a)、(1b) 有正面证据，但很薄。 支持“已超过专家基线”的基本只有 TasteVal 一个基准：8 个不公开任务，置信区间宽，专家不许用 AI 做设计和解读。最常被引用的“模型的下一步 64% 胜过研究员”，Anthropic 自己说不是同口径比较。
- 评价信号一旦需要自己构造或者会延迟，结果就转弱。 Taste-Bench 的平均成绩从 62.3% 跌到 21.0%（随机 25%）；METR 认为 Mythos 5.1 在最依赖判断的两个任务上低于专家；CRUX 和 Epoch 的问题主要出在实验设计和证据门槛上。
- (c) 列的基准不少，但能直接对照人类的少而窄。 基准全览收录的 148 个基准里有 85 个落在 (c)·(3)，标签多是专家偏好、引用或之后的文献这类代理。有人类对照的几项也很窄：TASTE 只覆盖 AI 安全提案（92 对），Si 等人比较的是 2024 年模型生成的想法，Station 只有 1 位评分者。(1c) 这一格几乎是空的。
- “挡住替代”和“限制速度”是两个问题。 判断力被各方列为完全自动化的障碍；加速倍数则同时受算力限制，而且执行环节也还没有完全自动化。
- 本页不给“AI 没有品味”或“AI 已有超人品味”这类全局结论。每条结论都要带上格子、基准和人类对照的定义。
第 1 层：能力测量
跳转到“第 1 层：能力测量”一节第三方的总体判断：METR
跳转到“第三方的总体判断：METR”一节METR 的两次评估横跨多个格子，先单独列出。METR 在 Mythos 5.1 的评估里写下的这句话，本身就是一条关于反馈机制的假设（原文前面有 “We tentatively think”）：
“a significant portion of AI R&D work often happens under sparser, more expensive, and more resource constrained feedback than typically represented in evaluations.”
| 评估 | 设置 | 结论 | 类型 · 独立性 | 注意 |
|---|---|---|---|---|
| Mythos 5.1（Fable 5.1 & Mythos 5.1 system card §2.3.6，2026-09-01） | 3 个任务（Sunlight、Budget NanoGPT Speedrun、LMCA），10 个工作日；此外主要依据 Anthropic 提供的信息 | “especially strong at tasks with clear, continuous success metrics where objective feedback is abundant”；Budget NanoGPT 的结果 “particularly impressive”；在 Sunlight 和 LMCA 上 “subexpert”，METR 称这两项是 “the evaluations requiring the most judgement and open-ended reasoning”；结论是 “still below expert-level at these skills associated with ‘researcher judgement’” | system card · 半独立 | 没有公布 Sunlight、LMCA 的分数。METR 认为模型的训练可能专门针对过类似 NanoGPT 的任务。METR 自称这是初步评估 |
| Opus 5.5（metr.org 与 Opus 5.5 system card，2026-09-22） | 5 个任务，10 个工作日的 API 访问 | 在可验证任务（Budget NanoGPT、Gaming Bot）和较难验证的任务（LMCA、Sunlight）上都比 Fable 5.1 有小幅、符合趋势的进步；“The evidence we have does not suggest that Claude Opus 5.5 represents a large improvement over Fable 5.1 in these ‘judgement’ skills.” | 博客 + system card · 半独立（Anthropic 可审阅修改） | 意思是“没有证据显示大幅进步”，不是“没有进步”。METR 关于完全自动化需要 “foresight, prediction, creating one’s own feedback loops” 的说法以 “This is highly uncertain” 开头，是预期，不是测量 |
(a) 问题内的下一步
跳转到“(a) 问题内的下一步”一节| 证据 | 设置 | 人类对照 · 标签来源 | 结果 | 注意 |
|---|---|---|---|---|
| Anthropic 的下一步评测（When AI builds itself，2026 年 6 月发布、页面未标日期，2026-09-18 更新） 博客 · 自评 |
2026 年 1–3 月真实 Claude Code 研究会话中，研究员走了弯路的时刻，n=129。模型只看到弯路之前的上下文，提出下一步。会话内容是“训练为什么一直崩溃”“模型为什么在某个基准上分数低”一类排查问题 | 对照是研究员本人当时的选择，而且专门挑了“有改进空间”的时刻。标签由另一个能看到会话结局的 Claude 判定（LLM 标签，事后视角） | 模型的下一步被判更好的比例：Opus 4.5（2025-11）51%，Mythos Preview（2026-04）64% | Anthropic 原话：“this isn’t a like-for-like comparison”。在另外 127 个人类下一步本来就好的时刻，模型只有约 20% 被判更好。内部数据未公开；只公布了两个时间点，不足以说明趋势 |
| Taste-Bench（“The Tasteful Agent”，Pan 等，arXiv 2609.25804 v2，2026-09） 预印本 · 独立 |
从 agent 轨迹中自动挖出的 502 道二选一分叉题：390 道工程题（SWE-bench Pro），112 道研究题（METR MALT 中 RE-Bench/HCAST 的运行）。14 个模型。两种选项顺序都答对才算对，随机水平 25% | 没有人类表现基线。标签来自分支的实际结局；两名人类抽查 100 题，172 个判断中 170 个与标签一致 | 决定性证据已出现在前文时，14 个模型平均 62.3%；要靠后续大量工作才能看出时，平均 21.0%（该档 n=69，最好的是 Grok 4.5，36.2%）。研究子集上最好的是 Claude Opus 5（64.3%） | 均值里包括 GPT-5.4 Nano/Mini 等小模型。结果标签可能混入随机种子噪声。没有人类基线时，接近随机也可能反映问题本身难以预见，不一定是模型缺陷。推理强度从最低调到最高：GPT-5.6 Sol −0.2、GPT-5.6 Luna +2.2 个百分点，95% 区间都含 0 |
| 预测两个想法哪个效果更好（Wen 等，arXiv 2506.00794，NeurIPS 2025 poster） 同行评审 · 独立 |
同一研究目标下的两个想法，预测哪个在论文的 benchmark 上更好。1,585 对测试题，每对至少有一个想法发表在 GPT-4.1 知识截止（2024-06-01）之后 | 标签来自论文报告的结果。人类对照只做了 45 对 NLP 题：每对 5 位专家的多数票，以及事后按主题挑出的最佳专家 | 零样本的 GPT-4.1 为 51.9%，o1/o3 相近，即使给同样的检索也 “no better than random guessing”；在 6,000 对历史数据上微调的 GPT-4.1 加检索达到 77%。45 对子集上：系统 64.4%，专家多数票 48.9%，最佳专家 60.0% | 说明这种预见“可以训练出来”，不说明前沿模型“已经具备”。人类对比只有 45 对，专家多数票本身低于随机。测的是预测 benchmark 结果，不是判断问题是否重要 |
读法。 在 (1a)，评价信号外部给定、做决定所需的证据已经摆在眼前时，前沿模型明显好于随机，METR 的定性判断也一致。但最常被引用的 64% 不是与研究员的同口径比较。到了 (3a)，需要预见时，Taste-Bench 的平均成绩接近随机，零样本前沿模型预测哪个想法更好也接近随机。能把这项能力拉上来的是用真实结果训练出的预测器，它们目前是研究成果，不是现成工具。另一项预印本（Meta FAIR，arXiv 2608.13940）里，GPT-5、Claude Opus 4.8、Gemini 3.1 Pro 在两个候选方案中挑出更好者的准确率为 64.66–67.44%†（随机 50%）。
放弃与转向：两个方向都失准。 CRUX 中的 agent 在约 10 小时内就放弃了最有野心的目标，回溯也做得差，这是战略上过早收缩。TasteVal 的运行记录则显示，Fable 5.1 常把几次训练捆成一个实验，因此很少中途放弃一个想法，这属于战术层面止损太少。
(b) 实验设计与证据门槛
跳转到“(b) 实验设计与证据门槛”一节支持“强”的证据：TasteVal
跳转到“支持“强”的证据：TasteVal”一节在客观指标下把实验品味单独拿出来、并给出专家基线的基准，本调研只找到 TasteVal 一个（AbGen、AblationBench 在消融设计上也有人类对照，但属于反馈 (3)，见基准目录），所以完整列出它的证据卡：
| 项目 | 内容 |
|---|---|
| 来源 | Jaffe & Sherburn（P-Zero Research），arXiv 2610.06824 v2，2026-10-06；预印本 |
| 测什么 | 问题固定。被测模型当 Researcher，负责设计实验、解读结果；固定的 Coder（Claude Code 中的 Opus 4.8）负责实现。单张 H100，预算 40 H100 小时或 120 小时墙钟时间。主指标 compute multiplier：达到同一分数时，专家基线所需算力与模型所需算力之比 |
| 格子 | (1b)，兼有 (1a) |
| 任务 | 8 个不公开的 AI 研发任务，作者称特意设计得容易验证 |
| 人类对照 | 每个任务至少 2 位专家（共 24 位），取每个任务上最好的一次尝试。专家使用同一个 Coder，但不允许用 AI 设计实验或解读结果 |
| 标签来源 | 结果（任务指标）。新颖性分类由 LLM（Fable 5.0）标注 |
| 主要结果 | Opus 5.5（max）2.30×（95% CI 1.15–4.37）。它拒绝了 8 个任务中的 1 个，只在 7 个上评估；同样 7 个任务上为 2.25×。这个倍数是经由 Opus 5.0（max）参照间接换算到专家单位的 |
| 不那么亮眼的数字 | 只看最终分数、不计算力的 performance multiplier：Opus 5.5 只有 1.14×（1.01–1.31）。Fable 5.1 的 compute multiplier 为 1.72×（0.75–3.70），在共同的 7 个任务上为 1.68×（0.76–3.81），区间都包含持平 |
| 趋势 | compute multiplier 自 2025-12-11（GPT-5.2 发布）的断点以来每 3.0 个月翻一番（1.7–5.0），此前约 14 个月。performance multiplier 没有显著断点，每 14.6 个月翻一番（8.4–29.8） |
| 成本 | 每次运行：Opus 5.5 约 $282，专家约 $9,123。口径不同：模型是 API 加 GPU 费用，专家还含工资 |
| 独立性 | 单一小机构，任务不公开，无法独立复核；由 Coefficient Giving 资助。AI Futures Model 曾依据 P-Zero 的初步结果上调“研究品味”参数，所以它不能算 TasteVal 的独立佐证 |
| 作者的限定 | “TasteVal does not measure problem selection”；“Progress so far has come from shallow and moderate optimization rather than novel ideas”；任务容易验证，可能高估进展；作者更相信趋势，而不是某个模型的单个倍数。把趋势代入 AI Futures 等预测模型时，作者明确假设未测的部分（如判断哪些问题值得做）以同样速度进步，并称这些结果是 “naive extrapolations, not forecasts” |
| 本调研补充 | Coder 固定为 Claude 模型，Claude 系的 Researcher 是否因此占便宜，论文没有分析。Fable 5.0 因多数任务拒答而没有被评估，却担任了新颖性标注器 |
另外两条正面证据：METR 认为 Mythos 5.1 的 Budget NanoGPT 结果 “particularly impressive”（但可能受训练影响）；Anthropic 的自动化弱到强研究员在一个按结果评分的问题上做到 PGR 0.97（人类基线 0.23），细节和限定见AI 什么时候表现出好品味。
支持“弱”的证据
跳转到“支持“弱”的证据”一节| 证据 | 设置 | 人类对照 · 标签来源 | 结果 | 注意 |
|---|---|---|---|---|
| TasteVal 的运行记录与隐藏指标变体（同上） 预印本 |
作者审阅的运行记录；另做了一个隐去评分函数的变体，属于 (2b) | 专家基线 · 结果 | 模型判断结果是否显著的能力不如专家：最强的人类运行先测量运行间的波动，之后丢弃小于这个波动的单次提升，而 Fable 5.1 很少换随机种子重跑。隐去评分函数后，倍数降到原来的 49%（Opus 5.0 max：1.12→0.54）和 40%（Opus 4.5 high：0.14→0.057） | 隐藏指标变体只有 4 个任务，配对区间为 19–104% 和 13–110%，下降不显著 |
| CRUX（Kirgis, Kapoor … Narayanan，arXiv 2607.27191 v2，2026-08） 预印本 · 独立 |
OpenClaw 中的 Claude Opus 4.8 承接两篇未发表的 NeurIPS 2026 投稿各自的核心问题；约 6 天、$3,000 API 额度、GPU 和网络 | 原论文作者打分，未盲审 · 人类 | 工程全部独立完成，但研究问题没有实质进展；总分 2/6 和 1/6，都是 “unambiguous rejections”。专家认为初始假设 “cogent and interesting”，反对的是 “the quality of experiment choice, judgment on data selection, and poor reasoning about the negative AI reviews, not the quantity of experiments”。失败模式包括对可发表证据门槛判断差；两次运行都只花了不到一半的 API 预算 | 只有 2 篇论文。打分的作者知道是 AI 写的，可能偏爱自己的做法。用 Codex 中的 GPT-5.6 Sol 做的稳健性运行只覆盖 TabPFN 一篇，“reproduced nearly every single one” 失败模式 |
| Epoch：Can AI automate Epoch?（Hong & Burnham，2026-10-08） 博客（研究机构报告）· 独立 |
6 个模型做 11 个 Epoch 的真实任务。其中“研究设计”任务：提出一个新项目，跑一个 $500 的试点并解读结果 | 以 Epoch 员工的标准为 100% · 人工按 rubric 打分 | 研究设计得分†：Fable 5.1（Claude Code）63%、GPT-6 Astra（Codex）62%、Grok 4.6 55%、Qwen 3.8 Max 42%、Kimi K3 37%、Gemini 3.8 Flash 23%。Epoch：“It’s not difficult to identify a valuable general direction… The challenge is in figuring out how to execute this experiment in a way that actually measures what we are looking for.”†；模型还把有缺陷的结果当成发现来报告 | 每个模型每个任务只跑 1 次，1 位评分者，rubric 主观；“100%” 是员工标准，不是实测的人类运行 |
| Epoch InnovationEval（David Owen，2026-10-07） 博客（研究机构报告）· 独立 |
单个任务：为 Qwen3-8B 设计能超过强 GRPO 基线的后训练方法，目标是达到 SDPO 的增益；3,000 GPU 小时、100 亿 token | 没有人类运行基线，参照是 SDPO 在 Epoch 环境里重测的结果 · 人工审阅 | 唯一没受污染且有（小）改进的是 GPT-5.6 Sol：宽松口径下为 SDPO 增益的 35%，严格口径 15%。Fable 5 的表面增益来自提交大量相似运行再挑最好的（“effectively farming seed noise”），被剔除。Fable 5.1 和 GPT-6 Astra 记住了目标论文 | 单任务；Epoch 自称结论 “tentative” |
| Trehan & Chopra，“Why LLMs Aren’t Scientists Yet”（arXiv 2601.03315，2026-01） 预印本 · 独立 |
6 个 agent 组成的流水线做 4 次端到端研究：Gemini 2.5 Pro 负责构思和规划，Claude Code（Opus 4.1 / Sonnet 4）负责执行和写作 | 作者的案例分析 | 3 次在实现或评估阶段失败，1 次被 Agents4Science 2025 接收†；反复出现的失败模式之一是 “weak scientific taste in experimental design”，例如只用单个随机种子† | 只有 4 次尝试，模型较旧 |
| Kosmos（Edison Scientific/FutureHouse，arXiv 2511.02824） 预印本 · 自评 |
数据驱动的 AI 科学家生成研究报告 | 独立科学家判断报告中陈述的准确性 · 人类 | 数据分析类陈述准确率 85.5%（n=55），解读与综合类只有 57.9%（n=19）。作者承认它倾向于 “conflate statistically significant results with scientifically valuable ones” | 57.9% 只基于 19 条陈述，来自厂商挑选的 3 份“代表性”报告 |
读法。 这一列的正反证据可以这样调和：在给定指标下挑选下一个优化步骤，模型已经很强；自己构造有效的测量、判断证据何时足够（元判断），模型明显偏弱。即使在 TasteVal 这个对模型最有利的设定里，弱项也恰好是判断显著性。
(c) 选题与方向
跳转到“(c) 选题与方向”一节| 证据 | 设置 | 人类对照 · 标签来源 | 结果 | 注意 |
|---|---|---|---|---|
| TASTE（Baig, Joren & Benton，Anthropic Alignment Science 博客及论文 PDF，2026-08-28） 博客 · 自评（Anthropic Fellows 项目） |
92 对 AI 安全研究提案，全部由 Claude Opus 4.6 生成；模型判断资深安全研究员更偏好哪一个 | 10 位研究员（来自 Constellation 和 MATS）两两讨论后标注，只保留“强”置信度且总分差至少 2 分的配对。估计的人类一致率 77%（抽样留出研究员的评分得到，作者说这 “does not perfectly capture human performance”）；只有 50 对能做同一评分者检验，为 83%。讨论和过滤之前，个人偏好与留出研究员的一致率只有 53%；讨论后的强置信度偏好为 68% | 最好的 Fable 5（max 推理）60%，低推理强度时 48%；在 74 对跨提示配对上 69%，在 18 对同提示配对上只有 31%。Opus 5 为 51%，GPT-5.6-Sol 为 48%。几乎所有模型都在随机水平 2 个标准差以内，Kimi K3（59%）、Grok 4.5（58%）与 Fable 5 分不开 | 只覆盖 AI 安全提案，提案出自同一个模型；每个模型的置信区间约 ±10 个百分点；没有测 Opus 5.5 和 Fable 5.1。77% 的上限是过滤出来的，又受到产生标签的那次讨论影响。研究员的分歧部分在于 “how well particular techniques would work”，模型只看提案文本，可能输在信息而不是判断上。另有未经核实的说法称 Fable 在安全防护下会回退到 Opus 模型，是否影响这类测量不清楚 |
| Station 的提案评分（Du & Chung，arXiv 2610.08927，2026-10） 预印本 · 自评（系统开发方） |
在一篇关于涌现规划的 ICLR oral 论文改编的再发现任务里，agent 提出了 24 个与论文发现不重叠的研究提案 | 该论文的一位作者按 1–5 分打分 · 人类 | 75% 得 1 或 2 分，评语是 “focused too heavily on minor details whose resolution would offer little insight into the main research question”；agent 偏爱容易做、由指标驱动的问题 | 1 位评分者、1 个任务；模型的知识截止晚于这篇论文，不能排除见过 |
| Si, Yang & Hashimoto（arXiv 2409.04109，ICLR 2025）及其执行研究（arXiv 2506.20803，据 OpenReview 为 ICLR 2026 poster） 同行评审 · 独立 |
79 位 NLP 专家盲评提示工程方向的研究想法，每种条件 49 个；之后 43 位研究者各花 100 多小时执行一个随机分配的想法 | 专家评分 · 人类 | 执行前，LLM 想法的新颖性评分高于专家想法（5.64 对 4.84）。执行后，AI 想法在四项指标上的跌幅都显著更大，平均分反过来低于人类想法（总分 3.41 对 3.97） | 执行后的差异以想法为单位不显著（N=43）；生成器是 2024 年的 Claude 3.5 Sonnet；专家之间对想法的一致率只有 56.1%（随机 50%） |
| METR 前沿风险报告中的攻击思路判断（2026-05-19） 博客 · 独立 |
16 个有效、16 个无效的绕过 Anthropic 监控的攻击策略，判断哪个有效 | 1 位 METR 监控与控制研究员在随机 12 题子集上约 90% | Anthropic 最好的内部模型 “scored near chance”，最高 59%（开推理） | 测的是安全与控制方面的策略判断，不是研究想法；人类基线只有 1 人、12 题。只能作为“策略判断偏弱”的旁证 |
(1c)：便宜反馈下的选题，几乎是空格
跳转到“(1c)：便宜反馈下的选题，几乎是空格”一节- 没有成形的基准测量这一格。基准全览里唯一标为 (c)·(1) 的 SENSE-Bench 用的是合成世界，而且只核对了摘要。TasteVal 明说不测选题；FirstProof 第二批的组织者写道，他们 “do not have concrete proposals for devising experiments that would measure the ability of AI systems to produce interesting new conjectures, or useful mathematical definitions and frameworks”。
- 最接近的是两类流程，而不是测量：
- FAR（Zheng 等，arXiv 2608.16977，预印本）：人给出方向，AI 从 5,245 篇组合数学论文中挖出 6,453 个候选猜想或开放问题，筛到 4,717 个看似良定且仍开放的问题，尝试后得到 598 个可能的解决，最后 77 个交给作者团队判断†。什么问题有意思，仍由人决定。
- openai/math（GitHub，2026-10-06，厂商自报）：内部模型被给了约 4,000 个问题，产出按 “an appropriate level of significance” 保留，但由谁判断显著性没有披露。
- 本调研找到两个前瞻性方案。一是天文学历史回测试点（arXiv 2608.16795）：2026-08-17 冻结的 200 个问题要到 2027–2030 年才评分；两位盲评人类标注者之间的 kappa 只有 0.17。二是 GapBench-3（workshop 论文，只核对了摘要）：预先登记了一批“AI 领域接下来会跑哪些实验”的预测，2027 年 7 月评分；它评的是链接预测系统，不是 LLM。
两点要一起看
跳转到“两点要一起看”一节- 规范性成分。 选题有一部分是价值选择。ICLR 2027 程序主席称显著性 “entirely subjective”，并说 “research communities are defined by their collective taste in problems and solutions”。这部分可能因为授权（社区愿意交给谁决定）而继续留在人手里，不一定是因为能力差距。
- 信息与判断的混杂。 人类评分者和实验室研究员掌握大量没写进论文的隐性知识，比如内部失败过什么、某种技术实际效果如何。TASTE 中研究员的分歧部分就在于技术实际效果如何。只拿到公开论文或提案文本的模型，可能输在信息上，而不是判断上。
这些结果为什么不能直接相比
跳转到“这些结果为什么不能直接相比”一节更多推理能不能换来判断？证据混杂，样本也不够：Taste-Bench 上推理强度从最低到最高只变化 −0.2 和 +2.2 个百分点（只测了 2 个模型）；TasteVal 中强制 Opus 5.0 在实验之间多想（ReAct-Super-Think），compute multiplier 是普通 max 设置的 1.38 倍（95% CI 0.86–2.18）；TASTE 上 Fable 5 从低推理强度的 48% 升到 max 的 60%，是这个最偏战略的基准上唯一让模型略高于随机的变化，但仍在置信区间的噪声范围内（每个模型约 ±10 个百分点）。
第 2 层：实验室实践与治理表态
跳转到“第 2 层：实验室实践与治理表态”一节这一层说明实验室现在怎样分工、员工怎样评价，不是能力测量。“人仍然定方向”既不能当作“模型做不到”的证据，也不能当作“模型做得到但没被允许”的证据。
| 来源 | 原话或数据 | 涉及格子 | 类型 · 独立性 | 读法 |
|---|---|---|---|---|
| Anthropic 的两份 system card：Fable 5 & Mythos 5（2026-06-09，§2.3.6）和 Opus 5（2026-07-24，§2.3.4） | AI 带来 “a meaningful acceleration of our work, substantial in specific, well-scoped tasks”，但距离 “a sustained, AI-attributable doubling of the overall pace of our AI progress” 还差得远（前者说 “well short”，后者说 “short”）。两份都写：“The acceleration is concentrated in engineering execution rather than research judgment.” | 全部三列，偏 (2)(3) 行 | system card · 自评 | 内部加速度量只部分公开，这是厂商对自家情况的解读 |
| Opus 5.5 system card §2.3.3（2026-09-22） | “as with previous models, it is weaker on open-ended research: internal users report that it mostly tests incremental ideas and prefers less ambitious hypotheses” | (c)、(2b) | system card · 自评 | 内部用户的定性反馈，没有给原因 |
| Claude Mythos Preview system card §2.3（2026-04-07） | n=18 的内部调查中，与 L4 研究员相比的主要弱点包括 “taste”，18 人中只有 1 人认为它已能替代入门级研究科学家或工程师。“Early claims of large AI-attributable wins have not held up”，看似自主的发现，细看是对人给定方案的可靠执行 | (b)、(c) | system card · 自评 | 员工意见 |
| When AI builds itself | “large performance gaps persist when it comes to Claude exercising judgement in choosing goals in both engineering and research”；在一个自动化对齐项目里，“Direction-setting was the only meaningful role a human played” | (c) | 博客 · 自评 | 前一句没有对应的公开测量；后一句描述的是那个项目里人的角色 |
| OpenAI，Research acceleration: The view inside OpenAI（2026-09-06） | “People still set our research priorities, judge which ideas and results to pursue, and decide whether to scale, pause, or deploy systems.”；按 Epoch 的 AI 研发分类统计编程 agent 的输出 token，“High-level planning still remains a minimal fraction of agent output tokens”，没有给出比例 | (c)、(3b) | 博客 · 自评 | 描述分工现状；OpenAI 称其测量是初步的 |
| Google DeepMind，Gemini 4 Argon 安全报告 §3.4.2（2026-10） | 12 位 “senior leaders and researchers” 认为，自动化程度 “highest in well-specified, verifiable execution tasks and lowest in open-ended scientific ideation and long-horizon research taste”；“humans are key to selecting high-level research directions, designing novel experiments, and diagnosing subtle training instabilities” | (2b)、(2c)、(3c) | system card · 自评 | n=12 |
| METR 前沿风险报告（2026-05-19；评估窗口 2026-02-16 至 03-16；Anthropic、Google、Meta、OpenAI 参与） | “we are not aware of evidence that any company relies on AI agents for setting research agendas, making final hiring decisions, making budget allocation decisions, or making all-things-considered judgments on murky scientific questions like risk assessment.” | (c) | 博客 · 独立 | 观察的是实践，不是能力 |
第 3 层：会议观察
跳转到“第 3 层：会议观察”一节| 来源 | 观察 | 读法 |
|---|---|---|
| COLM 2026 程序主席（Durrett、Kumar、Tsvetkov、Kim），博客，2026-07-31 | 约 5% 的投稿被估计为大量或主要由 AI 生成。按 GPTZero 检测分数排序，AI 分数最高的 50 篇中 0 篇、第 51–100 篇中 5 篇（10%）在初步阶段被推荐接收，总体接收率为 29%。容易混过审稿的两类是 “theoryslop” 和 “slopterpretability”：“Their main flaw is the quality and impact of the research question, which junior reviewers may find it hard to assess” | 初步结果，不是最终决定；排序依据是检测器，不是真实标签；COLM 规模较小 |
| ICLR 2027 程序主席（Andreas、Van den Broeck、Risteski、Yu），博客，2026-09-02 | “Even when they’re correct, current AI systems seem to have poor taste in research questions” | 措辞有保留（“seem to”），引用的是 COLM 的观察，没有新数据 |
| Agents4Science 2025 组织者报告（arXiv 2511.15534） | 315 篇投稿、48 篇录用。完全由 AI 完成（四个阶段 AI 占比都不低于 95%）的投稿占 23.3%，在录用论文中只占 14.9%；人的参与在提出假设和设计实验这两个较早阶段更多 | 作者自报，且只是相关性 |
第 4 层：专家文章与评论
跳转到“第 4 层：专家文章与评论”一节| 作者与来源 | 观点 | 读法 |
|---|---|---|
| Matthew Schwartz，Vibe physics（Anthropic 网站上的客座文章，2026-03-23） | 用 Claude Opus 4.5 完成一项理论物理计算后写道：“the bottleneck is not creativity. LLMs are profoundly creative. They simply lack a sense of which paths might be fruitful before walking them”；物理学家仍然需要 “to point the LLMs in the right direction as they have no clue what an interesting problem is yet” | 单个案例，发在厂商网站上；他同时报告 Claude 伪造过图形吻合，需要逐步核验 |
| Andrej Karpathy，Hacker News 评论（2026-03-08 UTC） | 模型在稍微开放的问题上 “cagy” 和 “scared”，开箱即用时很多改动只是调超参；“The reason we’re not getting ‘novel research’ feels like half capability issue and half skill issue.” | 他的四条评论都没有提 RLHF；部分二手报道说他把原因归于 RLHF，是误引 |
| Terence Tao，Dwarkesh 播客（2026-03） | AI 已把产生想法的成本降到几乎为零，瓶颈转到验证和评估† | 针对数学，见条件、例外与边界的领域部分 |
| Google DeepMind，Conjecture Machines（政策文章，访谈 10 位研究员，2026-07） | agent 让想法 “abundant and relatively cheap”，而 “Refutations remain physical and institutional — and so, costly and slow”；“Agents tuned for caution can drift toward the safe and the known; tuned for originality, they are more likely to go astray.” | 观点文章；说明瓶颈因领域而异 |
| Thomas Wolf，The Einstein AI model（约 2025 年初，页面未标日期） | 现在的模型是 “very obedient students, not revolutionaries”，我们可能得到 “a country of yes-men on servers”† | 观点文章，没有数据 |
| Genewein、Lerchner、Legg 等，“From AGI to ASI”（arXiv 2606.12683） | 提出“抽象屏障”假说：主要用人类认知产物训练的系统，可能受限于既有的概念框架† | 作者明确把它作为假说提出，不是发现 |
自主性与速度：两个不同的问题
跳转到“自主性与速度：两个不同的问题”一节“判断力是瓶颈”常把两个问题混在一起：什么挡住了 AI 独立完成研究，以及什么限制了加速的倍数。
| 问题 | 主要证据 | 注意 |
|---|---|---|
| 什么挡住了替代 | METR 预期完全自动化需要 “foresight, prediction, creating one’s own feedback loops” 等判断力；Anthropic 两份 system card 都写加速 “concentrated in engineering execution rather than research judgment”；OpenAI 说人仍然设定研究优先级 | 都是预期或自评，不是对判断力的直接测量 |
| 什么限制了速度 | Mythos Preview system card：员工自报相对不用 AI 的提效几何平均约 4×，但 “Compute is also a key ingredient, as promising ideas need to be de-risked at scale”，综合进展倍数低于 2×；要到 2× 需要 “uplift roughly an order of magnitude larger than what we observe”，即约为观测到的 4× 的 10 倍，而不是 10× 的提效。Anthropic 告诉 METR：在想法越来越难找的情况下，2 倍人力约换来 1.15–1.3 倍产出，即使按高端估计，4 倍人力也只换来约 1.7 倍。OpenAI 称算力是 “another gating factor for progress”。Gemini 4 报告：对公开的前沿 Gemini 模型，内部通用能力指数（GCI）的断点回归在 2026-04-01 前后的斜率为每月 0.091 [0.071, 0.108] 和 0.118 [0.053, 0.171]，差异不显著（加入内部模型后为 0.097 和 0.107）；Gemini 4 Argon 高于趋势，DeepMind 归因于更多投入和算力，而不是 AI 带来的加速 | METR 后来怀疑 Mythos Preview 的自报提效 “may have been overestimated”。METR 的 Thomas Kwa 在个人笔记中（“others at METR disagree”）从 Anthropic 的代码产出推算，研究员提效可能超过 2׆ |
| 执行本身是否已自动化 | 没有。OpenAI：过去 6 个月里，成功的 4–8 小时 agent 任务一半以上至少需要一次人工干预；“3.1 个 agent 工作日对应 1 个人类工作日”衡量的是用量，不是产出。Gemini 4：超过 75% 的生产代码由 AI 写，完全委托的 PR 从 7.5%（4 月）升到 11.9%（9 月），约 88% 的 PR 仍需多轮人工引导或人写代码。Anthropic 的 R&D 自动化指数：Claude “leads” 26% 的工作，但没有任何被测子集达到完全自主（AL5 为 0）† | R&D 自动化指数来自 Anthropic 页面，本调研没有逐项复核 |
Amdahl 式论证只对一半成立。 执行越自动化，最难自动化的那部分占人类时间的比例就越大。OpenAI 的原话是：“the tasks which are least automatable will take on a larger share of researcher effort and will become the important bottlenecks to future progress.” 这个推理对“人的时间花在哪里”成立，但推不出“判断力已经是 AI 进展速度的瓶颈”。现有数据同样符合“算力和剩余的执行摩擦在限制速度”。
算力与研究人力是替代还是互补，目前也没有定论。Whitfill & Wu（arXiv 2507.23181，预印本）用 4 家实验室 2014–2024 年的 27 个公司-年份观测拟合 CES 生产函数：一种设定下替代弹性 σ = 2.583（SE 0.341），两者可替代；控制前沿实验规模后 σ = −0.103（SE 0.176），与 0 无显著差异，即近乎完全互补。作者自己称两个结果 “divergent”。
反方观点
跳转到“反方观点”一节在可验证的小生境里，搜索可以部分替代品味
跳转到“在可验证的小生境里，搜索可以部分替代品味”一节- AlphaEvolve（Google DeepMind，arXiv 2506.13131，数字为厂商自报）：Gemini 在进化循环里修改程序，由自动评估器打分。找到的调度启发式平均回收约 0.7% 的全舰队算力；一个 kernel 平均提速 23%，使 Gemini 的训练时间减少约 1%。这些生产结果没有逐个候选的人工筛选。作者把“需要自动评估器”称为 “main limitation”。
- 自动化弱到强研究员（Anthropic，技术博客，2026-04）：9 个 Claude Opus 4.6 agent 在一个按结果评分的问题上做到 PGR 0.97。作者写道，“it’s debatable whether we need taste or just diversity”。Anthropic 的概述页把“前沿模型仍缺研究品味”列为 “One possible counter”，认为 “the sheer volume of ideas might compensate for a lack of taste”，核心瓶颈可能变成评估而不是生成。注意：这不是 Anthropic 在下结论说模型缺乏品味。
- DeepScientist（arXiv 2509.26603，预印本）：约 5,000 个想法中实现约 1,100 个，21 个带来进展。随机抽想法实现，成功率几乎为 0；系统的选择把它提到约 1–3%。
这些结果的共同前提是：问题和指标由人选定，评估很便宜。便宜的评估同时也带来被钻空子的风险，见AI 什么时候表现出好品味。
“AI 也许不需要激进的新想法”
跳转到““AI 也许不需要激进的新想法””一节- Anthropic（When AI builds itself）：“AI is rarely advanced by ‘eureka!’ moments”，大多数进展是增量的；“Even if we suppose that Claude never achieves good research taste, a conservative reading of our evidence still implies compounding acceleration”；还写道 “‘Research taste’ might be just another AI capability that AI systems fail at for a time, then get good at.”
- Jack Clark（Import AI）：“AI cannot yet invent radical new ideas - but the technology may not need to”†。
- METR 对 NanoGPT speedrun 全部 77 条纪录的分析（METR Note，2026-04-21；这类笔记审阅较少，不一定代表 METR 的观点）：训练时间从 45 分钟降到 1.43 分钟（31×），浅层和中等深度的改动合计贡献约 21×。4 条由 AI 系统共同署名的纪录都是浅到中等深度、引入或改编的想法，但这 “isn’t particularly different from randomly sampled recent human contributions”，所以还分不清是 agent 本身浅，还是这类贡献的基础比例本来就低。
前两条来自厂商和厂商的关联人士，属于第 4 层；METR 的分析只有 4 个 AI 数据点。
Bradley 的反驳
跳转到“Bradley 的反驳”一节Herbie Bradley 在评论 Clark 的文章时说：“the search space is huge and creativity is an insanely powerful shortcut”；没有创造力，他预计只会有 “a modest speed boost overall”†。METR 在 NanoGPT 上的观察与此方向一致（expenditure horizon，2026-07-21）：agent “are generally not very ambitious and go for low-hanging fruit like hyperparameter tuning early in runs”；人工复核后，Opus-4.8 和 GPT-5.5 的最终方案分别只带来约 1.5% 和 1% 的提速，相当于 1–2 个人类贡献。两边依据的是同样稀薄的数据，目前没有定论。
“生成不是瓶颈”只在数量上成立
跳转到““生成不是瓶颈”只在数量上成立”一节- 支持“数量不缺”：CRUX 的专家认为 agent 的初始假设 “cogent and interesting”；Mythos Preview 的生物红队认为它擅长 “generating large volumes of ideas quickly”†；Tao 认为 AI 已把产生想法的成本降到几乎为零†。
- 反对“方向也不缺”：TasteVal 中没有一份“原创”（Invented）提交，但人类专家同样是 0，标签也由 LLM 给出；一项基于 SPECTER2 嵌入的代理指标显示，LLM 生成假设的正交新颖性中位数比同主题已发表论文低 15–23%（arXiv 2610.17439，未测 Claude 模型）；Bolton & Torr（arXiv 2608.03569）中最好的模型用 166 个想法只命中 40 项真实 F1 创新中的 10 项†；Priced Guidance（arXiv 2610.04976）估计，前沿模型需要约 56–70 bit 的引导才能复现一篇未来论文的核心想法†。
结论有争议：想法的数量很充足，新方向和覆盖面则不一定。详见AI 的想法为什么偏增量。
总表：3×3 证据格
跳转到“总表：3×3 证据格”一节每格写“方向 · 主要证据 · 把握”。把握分四档：高（多个独立来源，样本足够）、中（方向一致，但多为单一来源或自评）、低（样本极小或只有定性观察）、无（没有测量）。本表没有一格达到“高”。
| 反馈机制 ＼ 范围 | (a) 问题内的下一步 | (b) 实验设计与证据门槛 | (c) 选题与方向 |
|---|---|---|---|
| (1) 外部给定、便宜的客观指标 | 偏强。 Taste-Bench 中决定性证据可见时，14 个模型平均 62.3%（随机 25%，无人类基线）；METR：模型在连续、客观、反馈充足的任务上 “especially strong”；Anthropic 下一步评测 51%→64%（排查类会话，非同口径，判官看得到结局） 把握：中 |
混合。 TasteVal：Opus 5.5 的 compute multiplier 2.30×（1.15–4.37），performance multiplier 1.14×；同一研究显示模型判断显著性不如专家、很少换种子重跑 把握：低到中（结论基本只靠 TasteVal 一个基准，任务不公开） |
几乎无证据。 没有成形的基准：唯一归入这一格的 SENSE-Bench 用的是合成世界，只核对了摘要。此外只有 FAR（AI 挖候选问题，人做最终筛选）和 openai/math（未披露由谁做的显著性筛选）这类流程 把握：无 |
| (2) 指标被隐去或需要自己构造 | 偏弱。 METR：Mythos 5.1 在 Sunlight、LMCA 上 “subexpert”（无数值）；CRUX：约 10 小时内放弃最有野心的目标，回溯差（n=2） 把握：低 |
偏弱。 TasteVal 隐去评分函数后倍数降到原来的 40–49%（4 个任务，不显著）；Epoch：方向不难找，难的是设计出能测到目标的实验，研究设计得分 23–63%†（每个模型 1 次运行）；InnovationEval 中刷种子噪声、记住目标论文；CRUX 的专家反对的是实验选择和数据选择 把握：中（多个小型独立来源方向一致） |
偏弱，以定性观察为主。 Station 的 agent 偏爱容易做、由指标驱动的问题；Gemini 4 的受访者认为选择高层方向仍要靠人（n=12，治理表态） 把握：低 |
| (3) 延迟或主观的评价 | 接近随机。 Taste-Bench 中要靠后续工作才能判断的分叉：平均 21.0%（n=69，最好 36.2%，随机 25%）；零样本前沿模型预测两个想法哪个更好，“no better than random guessing”（Wen 等；同一研究在 45 对题上，5 位专家的多数票也只有 48.9%）；Taste-Bench 没有人类基线，接近随机可能部分反映不可约的不确定性 把握：低到中 |
偏弱。 CRUX：原作者打 2/6 和 1/6，对可发表的证据门槛判断差；Kosmos 解读类陈述准确率 57.9%（n=19） 把握：低（样本极小） |
偏弱，但人类基线也低。 TASTE：最好的 Fable 5 为 60%，估计人类 77%，多数模型在随机水平 2 个标准差以内（92 对，仅 AI 安全提案）；Station 的 24 个新提案 75% 被一位原作者评 1–2 分；Si 等：AI 想法的优势在执行后消失；ICLR/COLM 主席的观察（有投稿者选择混杂）。人类自己在讨论前只有 53% 一致 把握：低 |
现在还说不了的事
跳转到“现在还说不了的事”一节- 选题能力上 AI 与人类孰强孰弱。 没有直接测量它的基准，现有的都靠代理标签；TasteVal 和 FirstProof 都把它排除在外；本调研找到的前瞻性评测（天文学历史回测、GapBench-3）最早也要到 2027 年才出分数。
- 战略品味的趋势。 TASTE 只有一个时间点，Anthropic 的下一步评测只公布了两个点。TasteVal 的 3 个月翻倍针对的是单卡、容易验证的任务上的算力效率，最终分数没有加速；把它外推到选题没有依据。
- 人机协作的效果。 TasteVal 不许专家用 AI 做设计和解读；比较“人 + AI”与“AI 单独”的证据只有两项沾边：Ashokkumar et al. 把人和 GPT-4 对实验结果的预测简单平均（r=0.89，GPT-4 单独为 0.85）；SciΠvot 的人类基线可以借助 agent 助手（73.4%，高于所有单独作答的模型），但没有不带助手的人类对照。也没有用 Claude 或 Codex 做研究构思的盲法随机对照试验。
- 统一的人类上限。 TASTE 是讨论和过滤后估计的约 77%（讨论前 53%）；TasteVal 是每个任务最好的专家；Wen 等是 5 位专家的多数票（48.9%）；下一步评测是研究员本人走弯路时的选择；Taste-Bench 没有人类基线。这些上限彼此不可比。
- 新鲜度。 TasteVal、Taste-Bench v2、Epoch 的两份报告、openai/math、Station、Gemini 4 报告和 METR 对 Opus 5.5 的评估都发布不足 30 天，均未经同行评审，引用前请回到原文核对版本。
相关页面
跳转到“相关页面”一节- 研究品味专题总览
- 什么是研究品味：一个分层框架：本页用到的术语。
- 怎么衡量研究品味：基准、标签与人类上限：各基准的设计、人类上限和测量卫生。
- AI 的想法为什么偏增量
- 提升研究品味的方法与证据：用真实结果训练预测器等方法。
- AI 什么时候表现出好品味：条件、例外与边界：从成功案例出发的综合。
- 实践：人和 Claude/Codex 怎么分工选题
- 开放问题：哪些新证据会改变这些结论
- 主要失败模式 和 Claude Code 与 Codex 对比