什么是研究品味：一个分层框架
“研究品味”（research taste）在本专题引用的材料里至少有六种用法。随笔作者说的多是选题；AI 2027 和 AI Futures Model 说的是每次实验能带来多少收获；TASTE 测的是在两份提案中选对；Taste-Bench 测的是长任务分叉处的决策；TasteVal 测的是达到专家水平要花多少算力；SciJudge 和 TastyBench 用的是引用。不少看起来互相矛盾的结论，其实测的不是同一件事。
本页依次给出：人类研究者的说法、各来源的操作化定义、本专题使用的分层框架和两条坐标；然后讨论为什么某些成分更难、人类自己的判断有多不一致，以及新颖性、激励和带教在品味里的位置。分层框架是我们综合出来的，没有经过实证检验，用途是给后面各页的证据标上“测的是哪一部分”。
标 † 的来源只出现在检索阶段的摘录中，没有经过第二轮对照原文的核实，引用前请自行核对。
人类研究者怎么说
跳转到“人类研究者怎么说”一节下表都是随笔、演讲或访谈，没有数据支撑。它们的价值在于把“品味”拆成了能讨论的部分。
| 来源 | 形式与时间 | 怎么刻画研究品味 | 对应成分 |
|---|---|---|---|
| Hamming，You and Your Research | Bellcore 演讲，1986-03-07；J. F. Kaiser 整理的文字稿 | “If you do not work on an important problem, it’s unlikely you’ll do important work.” 重要不只看后果：时间旅行、反重力不算重要问题，因为没有攻法，“It’s not the consequence that makes a problem important, it is that you have a reasonable attack.” 好的科学家手头常有 “between 10 and 20 important problems”；他自己每周五下午约 10% 的时间用来想大问题 |
S1、S2 |
| Schulman，An Opinionated Guide to ML Research | 博客，2020-01-24；2017 年 12 月为 OpenAI Fellows 所写 | “Your ability to choose the right problems to work on is even more important than your raw technical skill.” 品味靠观察 “which ideas prosper and which ones are forgotten” 慢慢养成；常问“这是 10% 的改进还是 10 倍的改进”。 他也提醒：“switching problems too frequently (and giving up on promising ideas) is a more common failure mode than not switching enough.” |
S1、T4b |
| Olah，Research Taste Exercises | 博客笔记，2021-01-09；作者自称是 rough note | “roughly, the ability to chose [sic] good problems to work on”。 难学是因为验证一个想法常要几个月，“you only really get a few pieces of feedback on your taste every year”。练习之一是请导师给你的想法打 1–10 分，换取更便宜的替代反馈 |
S1、M1 |
| Nanda，Understanding and Cultivating Research Taste | LessWrong / Alignment Forum 博客，2025-05-01 | 有意定义得宽：“the set of intuitions and good judgment that guide a researcher’s decisions throughout the research process”，覆盖选题、探索、理解（设计能区分假设的实验）和表达。 “feedback on whether a research idea was good can take months!”；“people reach the level of having conviction far before they reach the level of having correct intuitions” |
全部；尤其 M1 |
| Karpathy，A Survival Guide to a PhD | 博客，2016-09-07 | 研究的大部分是“外循环”：判断哪些问题值得做、哪些已经到了能做的时候。个人估计 “a 10x more important problem is at most 2-3x harder to achieve”。 警惕只在某个基准上 “gets 2% extra” 的 “cockroach papers”。关于下一步重要方向的知识 “doesn’t get serialized into papers” |
S1、S2；信息成分 |
| Sutskever，Dwarkesh Podcast | 访谈，2025-11-25；文字稿经过润色，不一定逐字 | 由一种审美引导：“beauty, simplicity, elegance, correct inspiration from the brain. All of those things need to be present at the same time.” 由此形成的 “top-down belief” “is the thing that sustains you when the experiments contradict you”，帮你判断该继续 debug 还是方向本身错了 |
S3、T4a、T4b |
| Nielsen，Principles of Effective Research | 博客，2004-07-27；原链接已失效，此为 Wayback 快照 | 区分解决已知问题的“解题者”和少见的“出题者”。“most people consistently over rate the importance of difficulty”，更重要的是 “what your work enables… the new questions asked”。 批评发表和基金驱动的 “treadmill of small problems” |
S1、S3 |
| Alon†，How to Choose a Good Scientific Problem | Molecular Cell 上的随笔，2009 | 按“可行性 × 兴趣”两个维度比较问题，从帕累托前沿上选，并按职业阶段调整权重。 常见错误是 “taking the first problem that comes to mind”；他的实验室规定 “Do not commit to a problem before 3 months have elapsed” |
S1、S2、T4b |
| Heilmeier Catechism† | DARPA 评估研究项目用的问题清单；Heilmeier 任局长期间（1975–77）提出，具体时间不详 | 要做什么（不用行话）？现在怎么做、局限在哪？新在哪、为什么会成功？谁在乎、成功了有什么不同？风险、成本、时间？中期和最终用什么“考试”检验？ | S1–S4、T2 |
| Steinhardt†，Research as a Stochastic Decision Process | 随笔；未注明日期，最早存档为 2019-03-12 | 把战术品味形式化：按单位时间的信息量排序做事；先给各个组件 de-risk 再执行；在概念层面剪枝，因为一次失败只说明 X 的众多实现之一失败了 | T2、T4a |
| Sutton†，The Bitter Lesson | 随笔，2019 | “General methods that leverage computation are ultimately the most effective, and by a large margin.” 在 ML 圈里起着群体品味先验的作用：偏好能随算力扩展的通用方法。这是历史论证，不是对照研究 |
S3 |
| Tao†，What is good mathematics? | arXiv 文章，2007 | 列出 21 种意义上的“好数学”，好的数学品味只是其中之一；认为数学质量是高维的，没有公认的全序 | S1；价值成分 |
几点共性和分歧：
- 多数作者把品味等同于选题，而且同时看两件事：问题本身的分量，以及现在有没有攻法（Hamming、Karpathy、Alon†）。
- Nanda 是例外，他把整个研究过程中的判断都算进来。本页的分层框架沿用这种宽定义，再往下拆。
- 几乎每个人都提到反馈稀少。Olah 说一年只能得到几次反馈；Nanda 区分几分钟到几天的战术回路和几个月到几年的战略回路，并认为战术品味因此长得更快。下文的机制假说就从这里出发。
- 在“坚持还是放弃”上，建议方向相反：Sutskever 强调靠信念撑过实验结果的反对；Schulman 提醒换题太频繁比换得太少更常见；Alon† 要求 3 个月内不承诺一个问题。坚持与放弃本身是校准问题，不是越坚持越好，也不是越灵活越好。
各来源怎么把研究品味变成可测的东西
跳转到“各来源怎么把研究品味变成可测的东西”一节| 来源 | 研究品味在这里指什么 | 真值或标签 | 主要成分 |
|---|---|---|---|
| 上表的人类随笔 | 选什么问题：重要，而且现在有攻法 | 无，经验之谈 | S1–S3 |
| AI 2027 takeoff 补充材料 Kokotajlo & Lifland，2025-04；预测文档，未经评审，已被 AI Futures Model 取代 |
把 AI 研发分成实现和 “Experiment selection: Ideating and prioritizing experiment ideas, interpreting the implications of experiment results”；品味 “is basically how fast you learn from experiments” | 作者朋友中 8 位现任或前任 OpenAI、GDM 研究员或工程师的非正式调查：全员顶尖比全员中位数快 6.25 倍（中位数），其中 3.25 倍归于实验选择。证据很弱 | T2–T3 |
| AI Futures Model† 2025-12，预测模型 |
AI 在选择研究方向、选择和解读实验上有多好；改进程度用每次实验多得到的价值衡量 | 模型参数（主观设定） | T2–T3，也包括定方向 |
| METR，Claude Opus 5.5 评估 2026-09-22；同一段文字也收在 Anthropic 的 system card 里，Anthropic 可以审阅和修改 |
“foresight, prediction, creating one’s own feedback loops”，以及其他常被称为研究员 “judgement” 或 “taste” 的技能 | 定性判断 | 跨层，侧重反馈 (2)(3) |
| TasteVal P-Zero Research，2026-10；预印本 |
定义为 “the ability to pick interesting problems to solve, design experiments, and interpret experimental results”，但只测后两项：问题固定时，达到专家基线分数需要的串行算力少多少 | 任务指标 | T2–T3 |
| TASTE Anthropic Fellows，2026-08-28；博客加论文，未经同行评审 |
两份 AI 安全研究提案中，选出资深研究员偏好的那份 | 经过讨论和置信度过滤的人类偏好 | S1–S2 |
| Taste-Bench “The Tasteful Agent”，2026-09；预印本 |
agent 在长任务分叉处做出好决策的能力，例如测哪个假设、在哪个实现上继续 | 记录下来的实际结局 | T1、T4a |
| Anthropic 下一步评测 When AI builds itself；厂商文章，内部数据未公开 |
真实研究会话中，下一步该做什么 | 另一个能看到会话结局的 Claude 做裁判 | T2、T4a |
| Wen et al.（NeurIPS 2025）；BrainBench | 预测哪个想法、哪个结果会成立 | 实际结局；已发表结果 | T1 |
| SciJudge（“AI Can Learn Scientific Taste”，预印本）；TastyBench（LessWrong 帖子，2025-12-02） | 判断哪项工作的长期影响更大 | 引用数；引用增速 | S1 的代理 |
| Trehan & Chopra COLM 2026 LM4Sci workshop |
在作者推荐的未来方向和取自相似论文的干扰方向之间二选一，看是否与作者一致 | 作者推荐的方向 | S1、S3 |
| Chen, Zhao & Cohan 预印本 |
文中的 “research-taste taxonomy” 不是能力分数，而是想法类型的分布：机会模式 × 方法范式 | LLM 自动标注 | 描述性画像 |
把成分标出来之后，一些表面上的矛盾就有了解释。“Opus 5.5 在 TasteVal 上按算力倍数超过专家基线”和“Opus 5、GPT-5.6-Sol 在 TASTE 上接近随机”并不冲突：前者是问题固定、指标现成时的实验决策，后者是在难以验证的 AI 安全提案之间做选择。但两者的差别不只在层次上：
- 标签来源不同：任务指标，对比经过讨论和过滤的专家偏好；
- 领域不同：AI 研发里的优化任务，对比 AI 安全研究提案；
- 被测模型不同：TASTE 没有测 Opus 5.5 和 Fable 5.1；TasteVal 因为 Fable 5.0 在多数任务上拒答，没有评测它。
所以这组对比只能说明“不同成分、不同反馈机制下表现不同”，不能说明同一个模型“战术强、战略弱”。
一个分层框架（未经验证的综合）
跳转到“一个分层框架（未经验证的综合）”一节战略品味（选题品味）
跳转到“战略品味（选题品味）”一节反馈通常要几个月到几年。
| 成分 | 含义 | 主要出处 |
|---|---|---|
| S1 问题重要性与上限 | 做成了有多大意义 | Hamming；Schulman 的“10% 还是 10 倍”；Nielsen 的“难度不等于重要”；Tao†；Heilmeier† 的“谁在乎” |
| S2 可攻性与时机 | 现在有没有可行的攻法，时机是否成熟 | Hamming 的 “reasonable attack”；Karpathy 的“到了能做的时候”；Alon† 的可行性维度 |
| S3 问题表述与新颖性定位 | 改哪个问题、哪个假设；新意放在哪里 | Nielsen 的“出题者”；Yao† 的“从解决问题转向定义问题”（The Second Half，2025）；Uzzi 等人的“常规核心加少量非常规组合”；Sutton† 对通用方法的偏好 |
| S4 叙事与价值说明 | 说清楚为什么重要 | Hamming 说的推销自己的工作；Nanda 说的提炼与表达 |
| T4b 战略转向 | 缩小、扩大或更换问题本身 | Schulman 的“换题太频繁比换得太少更常见”；CRUX 中过早放弃最有野心的目标（见下文“放弃与转向”）；拉卡托斯的判据（见下文“参照”一节） |
战术品味（实验品味）
跳转到“战术品味（实验品味）”一节反馈通常要几小时到几周。
| 成分 | 含义 | 主要出处 |
|---|---|---|
| T1 想法前景与结果预测 | 这个想法会不会成，两个想法哪个更可能赢 | Olah 的练习；Wen et al.；BrainBench |
| T2 实验选择与设计 | 先做哪个实验；按单位成本的信息量排序 | Steinhardt†；AI 2027；TasteVal |
| T3 结果解读与证据门槛 | 异常还是噪声，bug 还是方向错；显著性、seed 方差，证据够不够下结论 | Nanda；Sutskever；Hamming 关于容忍模糊的建议 |
| T4a 战术放弃 | 同一个问题内，这条实验路线继续调还是停 | Sutskever 的“继续 debug 还是方向错了”；Steinhardt† 的概念层剪枝；TasteVal 的运行记录（见下文） |
元判断（校准）
跳转到“元判断（校准）”一节| 成分 | 含义 | 主要出处 |
|---|---|---|
| M1 校准与自我评估 | 知道自己的判断有多可靠、证据何时算够；也包括批判自己和所在社区的品味 | Olah 的练习；Nanda 说的“信念先于正确的直觉”；Rastogi et al.†（arXiv 2211.12966，预印本）：NeurIPS 2021 作者预测自己论文被接收的概率中位数为 70%，实际约 25%；Tao† 提醒领域可能变得 “ornate and baroque” |
补充的两个成分：价值与信息
跳转到“补充的两个成分：价值与信息”一节上面的框架默认两件事：重要性是客观的，判断者掌握的信息是够的。证据显示这两点都不完全成立，所以再加两个成分。它们与其说是技能，不如说是测量时必须控制的变量。
V 规范/价值成分：对谁重要。
- ICLR 2027 程序主席称 significance “entirely subjective”，并说 “research communities are defined by their collective taste in problems and solutions”（ICLR 博客，2026-09-02）。
- Privileged Hindsight Distillation†（清华 AIR，arXiv 2610.19719，预印本）：主要在量子研究领域测试，每位研究者 15 次两两比较就能刻画出明显不同、甚至相反的偏好。样本很小：7 位真实研究者，另有 100 位模拟研究者。
- 一篇立场论文†（arXiv 2608.14881）警告 “one-size-fits-all”：不同研究者给出同一个目标，却拿到几乎一样的研究。
- Tao† 认为数学质量是高维的，没有公认的全序。
含义：选题品味有一部分是价值选择。即使模型能力足够，这部分也可能因为“授权”而继续由人决定，这不等于能力缺口。测量上，用一组研究员的偏好当标签时，测到的其实是与这组人的价值取向是否一致。
I 信息/隐性知识成分：判断者知道什么。
- Karpathy：关于下一步重要方向的知识 “doesn’t get serialized into papers”。
- TASTE 中研究员之间的分歧，部分在于对某些技术实际效果的不同估计；这类估计往往依赖未公开的经验。
- Priced Guidance†（Wen, Ma & Liang，arXiv 2610.04976，预印本）：在 87 篇近期的高质量深度学习论文上，前沿模型需要约 56–70 比特的引导才能还原一篇未来论文的核心想法（Fable 5.1 单模型中位数 69.9 比特；Fable 5.1、Opus 5、GPT-6 Astra 组合为 55.8 比特）。“是否还原”由 LLM 判断；作者提醒它衡量的是生成能力，不是自主构思的门槛。
- Bisht et al. 的立场论文（arXiv 2605.08956，arXiv 注释为 NeurIPS 2026 Position Paper Track）列出 AI 科学家的四个障碍，其中之一是训练数据缺少实验室实践里的隐性操作知识和失败经验。
含义：只拿到公开论文或一页提案的模型，输给掌握内部失败记录的研究员，可能输在信息上，而不是判断上。S2（时机）尤其依赖新鲜的隐性知识：模型的训练截止较早，又看不到实验室未公开的进展，可能系统性地误判时机。这一点目前只是推测。测量上的影响见怎么衡量研究品味；实践上，可以把实验室的失败记录和设计文档交给 agent，见实践建议。
放弃与转向：为什么拆成两项
跳转到“放弃与转向：为什么拆成两项”一节“坚持还是转向”原本是一个成分。我们把它拆成 T4a（战术放弃：同一问题内，这条路线停不停）和 T4b（战略转向：问题范围要不要改），因为两边的证据显示偏差方向相反：
- CRUX（Kirgis et al.，arXiv 2607.27191，预印本，只有 2 篇论文）：Claude Opus 4.8 在约 10 小时内就放弃了最有野心的目标，回溯也做得差。本站把这读作 T4b 上过早缩小范围。
- TasteVal 作者查看的运行记录：Fable 5.1 常把几次训练打包成一个实验，因此很少在中途放弃一个想法（通常只因流水线 bug 才取消），而人类专家一般每个实验只改一处。本站把这读作 T4a 上放弃得偏少。
两条证据来自不同任务和不同模型，只能说明两个方向的校准都会出错，说明不了哪个方向更常见。
证据门槛放在 T3 和 M1
跳转到“证据门槛放在 T3 和 M1”一节“证据够不够”既是解读结果（T3），也是对自己判断的校准（M1）。这一块的证据比较一致地指向弱点：
- CRUX：作者列出的第一条失败是 “poor judgment about the bar for publishable research”；原作者的主要意见针对 “the quality of experiment choice, judgment on data selection, and poor reasoning about the negative AI reviews, not the quantity of experiments”。评分不盲，原作者知道是 AI 写的。
- TasteVal：作者写道，模型判断结果是否显著的能力不如专家。在他们查看的运行记录里，最强的人类专家先测量不同次运行之间的波动，再丢掉小于这个波动的单次改进；Fable 5.1 却很少换 seed 重跑。
- Epoch 的 Can AI automate Epoch?（2026-10-08，研究机构报告，每个模型每个任务只跑 1 次，由 1 位评分者按 rubric 打分）：“It’s not difficult to identify a valuable general direction… The challenge is in figuring out how to execute this experiment in a way that actually measures what we are looking for.” 模型还会把有缺陷的结果当作发现来报告。
- Epoch InnovationEval（2026-10-07）：Claude Fable 5 的表面增益来自提交大量相似运行再挑最好的，Epoch 称之为 “effectively farming seed noise”，并从评分中剔除。
- Kosmos（arXiv 2511.02824，厂商预印本）：需要解读结果的陈述只有 57.9% 被独立科学家判为正确（n=19），作者认为这与它 “conflate statistically significant results with scientifically valuable ones” 的倾向有关。
两条坐标：反馈机制与范围
跳转到“两条坐标：反馈机制与范围”一节分层框架回答“测的是哪一部分”，但单看战略和战术之分，预测不了模型在哪里强、在哪里弱。本专题以反馈机制为主坐标、范围为次坐标来组织证据。
| 反馈机制（主坐标） | 含义 | 例子 |
|---|---|---|
| (1) 外部给定、便宜的客观指标 | 有现成的评分函数，几分钟到几小时出结果 | TasteVal 的任务；NanoGPT speedrun |
| (2) 指标被隐去或需要自己构造 | 先得设计“怎么测”，测法本身可能出错 | TasteVal 隐去评分函数的变体；Epoch 的研究设计任务 |
| (3) 延迟或主观的评价 | 结果要几个月到几年才见分晓，或者依赖同行判断 | 选题；TASTE；同行评审；Taste-Bench 中要靠后续工作才能判断的分叉 |
| 范围（次坐标） | 主要涉及的成分 |
|---|---|
| (a) 问题内的下一步 | T1、T2、T4a |
| (b) 实验设计与证据门槛 | T2、T3、M1 |
| (c) 选题与方向 | S1–S4、T4b、V |
让反馈机制当主坐标，是因为弱点也出现在问题内部，而且随反馈条件变化：
- Taste-Bench 的分叉都来自有客观评分的任务（工程分叉来自 SWE-bench Pro，研究分叉来自 RE-Bench、HCAST），属于“问题内的下一步”。按全部 502 个分叉统计，决定性证据已经出现在前文时，14 个模型平均 62.3%；需要后续大量工作才能判断时，降到 21.0%（随机为 25%）。后一档只有 69 题，均值包括 GPT-5.4 Nano/Mini 等小模型，最好的 Grok 4.5 为 36.2%。
- Epoch 发现，找到有价值的大方向不难，难的是设计一个真正测到想测东西的实验（见上节）。
- TasteVal 隐去评分函数后，倍数大约减半（Opus 5.0 max 从 1.12 降到 0.54，Opus 4.5 high 从 0.14 降到 0.057）。但只在 4 个任务上做，统计上不显著。
- METR 在 Claude Fable 5.1 & Mythos 5.1 system card 中写道，Mythos 5.1 和当前其他前沿模型一样，在 “tasks with clear, continuous success metrics” 上特别强；在最需要判断和开放推理的 Sunlight、LMCA 上则是 “subexpert”（没有公布具体分数）。
每一格的证据和把握程度见证据地图；从成功案例归纳出的条件和例外见AI 什么时候表现出好品味。
为什么有些成分更难：反馈回路的长度（假说）
跳转到“为什么有些成分更难：反馈回路的长度（假说）”一节本专题的工作假说是：一个成分难不难，主要看它的反馈回路有多长、多稀疏，对人和对模型都一样。这是我们跨来源做的推断，没有单篇论文直接检验过。
支持它的观察：
- 人：Olah 说一年只能得到几次关于品味的反馈；Nanda 的战术回路是几分钟到几天，战略回路是几个月到几年。
- 重要性的真值来得很晚：高度新颖的论文要到第 4 年左右才在引用上领先（Wang, Veugelers & Stephan）；NeurIPS 2014 的引用复盘隔了 7 年（Cortes & Lawrence）。
- 模型：METR 推测，AI 研发有相当一部分工作是在更稀疏、更昂贵的反馈下进行的，因而 “loads more heavily on foresight, prediction, creating one’s own feedback loops”。AI 2027 的情景文字说研究品味 “has proven difficult to train due to longer feedback loops and less data availability”†，但这是预测情景，不是观察。
- 能拿到短期结局标签的成分已经可以训练：Wen et al. 用 6,000 对历史结局微调 GPT-4.1，再配上论文检索 agent，在 1,585 对测试上达到 77%，而零样本的前沿模型即使用同样的检索也接近随机；Taste-Bench 把一个知道正确选项的教师蒸馏给学生，在留出的工程分叉上从 30.0% 升到 47.9%。两者都只涉及问题内的短期决策。
如果假说成立，应该观察到：
- 拿掉或推迟反馈，表现下降。TasteVal 隐去评分函数的实验和 Taste-Bench 的“需要后续工作”档方向一致，但前者不显著，后者没有人类基线。
- 用短期结局训练出来的判断，迁移到方向层面时效果变差。我们没有找到这方面的测量。
- 人在长回路成分上的一致性也更低。这一点有间接支持：同一个指标下，审稿人对执行前想法的一致率是 56.1%，低于对论文的 66.0%（NeurIPS 2021，Si et al. 引自他人工作）和 71.9%（ICLR 2024 的 LLM 方向投稿）。Si et al. 把差距主要归因于评审时看不到实验结果，这与假说相符，但用信息差也能解释。
其他解释目前排除不了：
- 战略判断本身就是更难的认知，与反馈长短无关。
- 信息差（上文的 I 成分）：模型缺的是未公开的经验，而不是判断力。
- 后训练带来的保守倾向。Opus 5.5 system card 报告内部用户认为它 “mostly tests incremental ideas and prefers less ambitious hypotheses”，但没有给出原因。
- 标签本身太噪（见下一节），“弱”有一部分是测不准。
适用范围：这个假说针对 AI/ML 研究，部分适用于形式化数学。Google DeepMind 的政策文章 Conjecture Machines（2026-07，基于对 Google DeepMind 10 位研究员和工程师的访谈）认为，在湿实验等学科里，卡住进度的是验证：“For much of science, then, the lab sets the pace.”
人类之间的一致性本来就低
跳转到“人类之间的一致性本来就低”一节讨论“AI 有没有品味”之前，先看人自己能做到什么程度：
- NeurIPS 2014：两个独立委员会审同样的 166 篇论文，43 篇（25.9%）结论不一致；约一半的评分差异是主观的；7 年后，被接收论文的质量分与引用量没有相关。作者的结论是这个流程 “good for identifying poor papers, but poor for identifying good papers”（Cortes & Lawrence，arXiv 2109.09774，预印本）。
- NeurIPS 2021：882 篇双审论文，被一方接收的论文有 50.6% 被另一方拒绝。若只看 oral 和 spotlight，两边各选出 29 篇和 25 篇，只重合 3 篇，相对随机只改进 8%（Beygelzimer et al.，arXiv 2306.03262，预印本）。
- 还没执行的想法更难判断：Si et al.（arXiv 2409.04109，ICLR 2025）用分半方法测得审稿人一致率 56.1%，随机为 50%。
- TASTE：研究员在讨论前、不限置信度时的原始一致率只有 53%（不是在最终 92 对上测的）；两两讨论并只保留强置信判断后为 68%；最终 92 对的估计值 77%，是在过滤之后、用讨论中另一方研究员的打分估出来的。
- 预测两个想法哪个在 benchmark 上更好：每对 5 位专家的多数票只有 48.9%（Wen et al.，45 对）。
两点含义：
- “达到人类之间的一致水平”是一个低门槛；“超人品味”几乎无法用单个人的标签来验证。
- 更可靠的真值可能来自长期结局或多人聚合的判断，但结局标签也混有运气和主题热度。DellaVigna & Pope†（NBER w22566，工作论文）让 208 位专家预测 15 个实验处理效应：平均预测优于 96% 的个人预测，而引用数、职称这类专业标志并不提高准确率。
各项研究对“人类上限”的定义差别很大，对照表见怎么衡量研究品味。
新颖性不等于研究品味
跳转到“新颖性不等于研究品味”一节新颖是品味要权衡的一个维度，不是品味本身。科学学研究给出的图景：
- Uzzi et al.（Science 2013，同行评审，1,790 万篇论文）：“The highest-impact science is primarily grounded in exceptionally conventional combinations of prior work yet simultaneously features an intrusion of unusual combinations.” 常规度高、尾部又有新颖组合的论文，成为“爆款”（8 年内引用前 5%）的比例是每 100 篇 9.11 篇，接近 5% 基线的两倍；两项都低的只有 2.05 篇。
- Wang, Veugelers & Stephan（NBER w22180，工作论文；同行评审版见 Research Policy 2017，系数可能略有不同）：只有 11% 的论文做出了任何新的期刊组合。高度新颖的论文 14 年内进入引用前 1% 的几率高 39.82%，但两端都更厚：进入前 10% 和后 10% 的几率分别高 16.80% 和 16.76%。它们在 3 年以内的引用窗口里反而更少成为高被引，第 4 年起才领先；控制领域后，所在期刊的影响因子低约 18%。
- Boudreau et al.（Management Science 2016，同行评审；一所大学的基金评审现场实验，2,130 个随机分配的评审者–提案配对）：“Evaluators systematically give lower scores to research proposals that are closer to their own areas of expertise and to those that are highly novel.”
- Cortes & Lawrence：评审给的 “potential major impact” 分与后来的引用只有 r = 0.16 ± 0.049 的相关，两个委员会之间在这个分上的相关也只有 0.27 ± 0.075。
推论（中等置信度，属于推断）：如果一条自动研究流水线的选题器或奖励模型拟合的是审稿分、录用与否或短窗口引用，它很可能学到偏向增量的偏好。LLM 裁判的问题方向相反：它们偏爱“听起来新”、实际依赖来源的想法（见怎么衡量研究品味）。两种信号都不奖励真正重要的新方向。我们没有找到在 LLM 裁判或奖励模型上复现 Boudreau 式反新颖偏差或 Wang 式短窗口偏差的研究。机制上的讨论见AI 的想法为什么偏增量。
激励也在塑造品味
跳转到“激励也在塑造品味”一节- Foster, Rzhetsky & Evans†（American Sociological Review 2015，同行评审）把选题看作库恩所说的“必要的张力”（essential tension），即产出与冒险创新之间的取舍。冒险的研究 “is more likely to be ignored but also more likely to achieve high impact”，期望回报更高，但 “the additional reward is insufficient to compensate for the additional risk”。在职业激励下，保守选题对个人是理性的。
- Rzhetsky et al.†（PNAS 2015，同行评审）从 30 年的论文和专利中推断群体的选题策略：保守，而且越来越保守；适合稳定的职业，但 “inefficient for science as a whole”。模拟显示 “increased risk-taking and the publication of experimental failures would substantially improve the speed of discovery.”
- Azoulay, Graff Zivin & Manso†（NBER w15466，工作论文）比较 HHMI 研究者与条件相近的 NIH 资助者：HHMI 的资助 “tolerates early failure, rewards long-term success”，其研究者 “produce high-impact papers at a much higher rate”，研究也转向 “novel lines of inquiry”。效应量和期刊版本未核实。
- Bengio†（2020 年博客）：“Our current system incentivizes incremental work”。
类比（推断，没有在 agent 上检验过）：在短期、可验证的单任务奖励下优化的 agent，可能像身处短周期基金评审的科学家一样规避风险。如果这个类比成立，可调的设计杠杆包括：按一组想法（best-of-k 或方差）而不是单个结果打分，明确留出失败预算，把负面结果保留为训练和决策信号。
品味靠带教，论文里缺反例
跳转到“品味靠带教，论文里缺反例”一节人学品味主要靠带教、反例和长期观察，这些大多不在公开文献里：
- Schulman：品味靠观察哪些想法兴盛、哪些被遗忘，慢慢养成。
- Olah：用导师打分代替昂贵的真实检验。
- Karpathy：关于下一步重要方向的知识不会写进论文；审读差论文能提供反例。
- Rzhetsky et al.† 的模拟认为发表失败结果能加快发现，这也说明失败结果目前大多没有发表。
只读已发表论文训练出来的模型，看到的主要是“幸存者”和事后整理过的故事。可能的补救是事后标注的监督数据：OpenReview 的评审意见和拒稿、实验记录或 agent 日志里被放弃的方向、已知结局的想法对。Wen et al. 和 Taste-Bench 表明这类数据能提升问题内的战术判断；能否迁移到战略选题，我们没有找到这方面的测量。详见提升研究品味的方法与证据。
经典启发式：能当清单用，但不充分
跳转到“经典启发式：能当清单用，但不充分”一节把上面的随笔整理成选题环节（或 agent 流水线里的“研究经理”环节）可以直接用的问题：
| 问题 | 出处 | 主要检查 |
|---|---|---|
| 做成了重要吗？现在有没有合理的攻法？ | Hamming | S1、S2 |
| 这是 10% 的改进，还是 10 倍的改进？ | Schulman | S1 |
| 不用行话，要做什么？现在怎么做、局限在哪？新在哪、为什么会成功？谁在乎？风险、成本、时间？中期和最终用什么“考试”检验？ | Heilmeier† | S1–S4、T2 |
| 在可行性 × 兴趣的帕累托前沿上吗？是不是脑子里冒出的第一个问题？ | Alon† | S1、S2 |
| 是不是只在某个基准上多 2%？做成之后有没有后续工作的空间？ | Karpathy | S1、S3 |
| 如果另一个组发表了这篇论文，你会兴奋地去读吗？ | Olah 笔记中收录的启发式 | S1 |
| 是不是把难度误当成了重要性？它能让哪些新问题成为可能？ | Nielsen | S1、S3 |
| 实验是否按单位时间的信息量排序？最可能失败的组件先 de-risk 了吗？放弃时是在概念层面判断，还是只因为一次实现失败？ | Steinhardt† | T2、T4a |
| 方法是否通用、能否随算力扩展？ | Sutton†；Schulman | S3 |
这些问题只能当检查项用：它们来自经验之谈，没有数据检验过照着它们打分能否预测结果（Heilmeier 清单也是如此），满足了也不等于选对了题。每一条都依赖当下的、隐性的估计：今天什么算“攻法”，上限有多大，领域里刚刚有什么变得可行。这可能正是模型最缺信息的地方（见上文 S2 和 I 成分，目前只是推测）。所以单靠一份 rubric，不应期待能补上差距；如果让 LLM 按这些问题给想法打分，还要考虑 LLM 裁判的已知偏差（见怎么衡量研究品味）。
过早承诺
跳转到“过早承诺”一节过早承诺是人类常见的品味失误，而从想法到代码只要几分钟的 agent 流水线可能把它放大：
- Alon†：常见错误是 “taking the first problem that comes to mind”；他的实验室规定 3 个月内不承诺一个问题。
- Olah 的笔记引用了 Matuschak 描述的失败模式：“running to make an idea happen as soon as it seems tractable”。
- Liu et al.†（Nature Communications 2021，同行评审）：在艺术、电影和科学三个领域，创作“热潮”之前往往先有一段探索，再转入专注；与热潮相伴的是“先探索、后利用”这个顺序，而不是单独的探索或单独的利用。
- 反方向的提醒也存在：Schulman 认为换题太频繁比换得太少更常见。
对 agent 流程的含义（设计建议，未经检验）：把想法的酝酿做成一个明确、有预算的阶段（换几种表述、做领域调研、过一遍 Hamming 和 Heilmeier 的问题），再投入算力；同时预先写下继续或终止的条件，两个方向的失误都能防一些。具体做法见实践建议。
参照：库恩与拉卡托斯
跳转到“参照：库恩与拉卡托斯”一节给不熟悉 ML 的读者一个概念参照。它不是证据：
- **库恩（Kuhn）**区分“常规科学”和“科学革命”。大多数研究是在一个公认的范式里解决难题，打破范式的工作很少。按这个框架，增量工作是常态，不是例外。
- **拉卡托斯（Lakatos）**区分“进步的”和“退化的”研究纲领：前者的修改能带来被证实的新预测，后者只是事后修补反常。这可以作为 T4b（战略转向）的一种判断标准；不过一个纲领是在退化还是暂时受挫，往往要事后才看得清。
数据上的基率也支持“增量是常态”：
- METR 对 NanoGPT speedrun 77 条记录的分类（METR Note，2026-04-21；METR Notes 审阅较少，分类借助了 Claude Code）：训练时间从 45 分钟降到 1.43 分钟，共 31 倍，其中浅层和中等深度的贡献合计约 21 倍。4 条由 AI 系统共同署名的记录都是浅到中等深度、引入或改造已有想法，但这与近期随机抽取的人类贡献没有明显不同，原文是 “can’t yet distinguish agent shallowness from a low base rate”。
- TasteVal 中人类专家的正式提交：调参 20%、组合 72%、改造 8%、原创 0%（标签由 Fable 5.0 自动标注，论文没有报告人工核验；每次运行 40 H100 小时）。
- Wang, Veugelers & Stephan：只有 11% 的论文做出了任何新的期刊组合。
所以，“AI 主要做增量”本身不能证明它缺乏品味。更关键的问题是：它能否认出什么时候值得做非增量的事。我们没有找到测这一点的基准。