总览：研究品味为什么是更深的瓶颈

一句话结论

分两种情况：

问题已经给定，评价信号便宜、由外部提供。 前沿模型做实验决策的效率，已经在个别基准上超过了专家基线（这些专家在设计和解读环节不许用 AI）。
需要自己构造评价标准、只能在稀疏或延迟的反馈下取舍，或者要判断哪个问题更重要。 现有证据显示模型明显偏弱。但这一部分本身很少被可靠地测量过，人类彼此之间的一致性也很低。

“瓶颈是品味和 idea”这个说法对了多少

主站的结论是：瓶颈不在文笔，而在诚信和研究品味。诚信问题可以靠工程手段大幅压低，见有证据支持的设计模式。品味问题没有这样的工程解法，各方的说法也最一致。不过，“品味”这个词在不同来源里指的不是同一件事：

常见说法	证据怎么说
“AI 缺 idea”	只对一半。从数量上看，生成想法不是瓶颈，模型能很快产出大量想法。短缺的是新方向：想法大多是对已有工作的重组和迁移。但要注意，人类专家在同样的短预算基准里也几乎没有“原创”级提交（TasteVal 中人类为 0% Invented，72% Composed）。见AI 的想法为什么偏增量
“AI 没有研究品味”	太笼统。在指标给定、反馈便宜的问题里，模型选下一步实验的能力已经较强，而且进步很快。真正弱的是三件事：自己构造评价标准、在延迟反馈下取舍、判断哪个问题重要。见证据地图
“AI 已经有超人品味”	证据不足。支撑它的基本只有 TasteVal 一个基准：8 个不公开任务，Opus 5.5 的算力倍数为 2.30×，95% CI 为 1.15–4.37。常被引用的“模型的下一步有 64% 胜过研究员”，Anthropic 自己说过不是同口径比较：样本是挑出来的走弯路时刻，评判它的 Claude 能看到最终结局

两条轴：先定位，再下结论

这个专题用两条轴给每一条证据定位，定义见什么是研究品味：

反馈机制（主轴）：(1) 外部给定、便宜的客观指标；(2) 指标被隐去或需要自己构造；(3) 延迟或主观的评价。
范围（次轴）：(a) 问题内的下一步；(b) 实验设计与证据门槛；(c) 选题与方向。

下面是简表，每一格的证据、样本量和注意事项见证据地图：

反馈机制＼范围	(a) 问题内的下一步	(b) 实验设计与证据门槛	(c) 选题与方向
(1) 外部便宜指标	偏强（把握：中）	混合（把握：低到中，结论基本只靠 TasteVal）	几乎没有证据（把握：无）
(2) 指标隐去或自建	偏弱（把握：低）	偏弱（把握：中，多个小型来源方向一致）	偏弱，以定性观察为主（把握：低）
(3) 延迟或主观评价	接近随机（把握：低到中）	偏弱（把握：低）	偏弱，但人类基线也低（把握：低）

三个读法：

强弱的分界线是反馈机制，不是“战术还是战略”。 Taste-Bench 的分叉全部来自问题已定、客观评分的任务。决定性证据已经出现在前文时，14 个模型平均 62.3%；需要后续工作才能判断时，跌到 21.0%（随机水平 25%，没有人类基线）。
“写出一篇好论文”恰好落在最难的那一行。 论文的意义要靠主观判断，反馈又来得很慢，所以对端到端 pipeline 来说，品味的约束最紧。
(1c) 这一格几乎是空的。 选题层面已有不少基准，但几乎都靠代理标签（专家偏好、引用、发表层级、之后的文献），还没有基准直接测“选一个问题去做，做出来是否重要”。所以“AI 不会选题”和“AI 会选题”都还说不出口。各格子里有哪些基准，见研究品味基准全览。

五个要点

实验室自己的口径一致。 Anthropic 连续两份 system card 都写到 “The acceleration is concentrated in engineering execution rather than research judgment”。METR 预计，要完全自动化 AI R&D，还需要在 “judgement” / “taste” 一类技能上有大幅提升。OpenAI 的研究部门里，研究优先级仍由人来定。注意：最后这一条是治理上的选择，不是对能力的测量。见证据地图。
“挡住完全替代”和“限制进展速度”是两个问题。 判断力是完全自动化的障碍；但加速倍数同时还受算力限制，执行环节本身也没有完全自动化。用 Amdahl 定律来解释，只适用于“判断占人力的比重在上升”，推不出“判断是进展速度的唯一瓶颈”。
成功案例有共同特征，但这些特征是从成功案例里归纳出来的。 已展示出“好品味”的案例，几乎都满足四点：问题由人或社区事先选定；有便宜可信的评估器；搜索规模大或效率高；由人筛选输入或输出。问题的重要性大多是“继承”来的。同时，也有满足这些条件却失败的案例，以及不满足这些条件的例外。见AI 什么时候表现出好品味。
能训练出来的主要是“挑选”，不是“生成”。 用结果标签训练的判别器，多数明显好于零样本的前沿模型。但它们几乎都是中小型开源模型上的研究成果，没有做过前瞻性检验。生成侧的大幅提升，大多是用 LLM 评委打分得出的。多样性技术扩大的是广度，不是品味。见提升研究品味的方法。
衡量本身就难。 人类专家在讨论前，对研究提案的一致率只有约 53%（TASTE）；各项研究对“人类上限”的定义互不可比；LLM 评委系统性地偏爱新颖感强、由 LLM 写的想法。见怎么衡量研究品味。

对用 Claude / Codex 做研究的含义

实践页给出了十一条建议，每条都标注了证据等级（A 独立或对照研究，B 单项研究，C 设计建议）。最重要的几条：

人负责选题、研究契约和重要性判断。 研究契约指目标、评估器、禁止走捷径的 rubric，以及留出的迁移测试。Claude / Codex 负责广度、检索、跨领域重组、问题内的下一步和 pilot。这是一个合理的默认分工，但目前没有对照研究支持它（C）。
先写自己的候选方向，再让模型扩展、攻击、试跑（B，证据来自相邻领域）。生成和挑选分开，挑选时隐去作者（问题有 A 级证据，做法为 C）。
pilot 要给新机制配平调参预算、跑多个 seed，失败的 pilot 先排查再砍（问题 B，做法 C）。否则短预算 pilot 会系统性地偏向已经调好的老方法，变成“增量主义引擎”。
新颖性靠最近前作地图、facet 检索和人工核查，不要优化 LLM 打的新颖性分（不优化新颖性分：A；前作地图与 facet 检索：B）。
按 1–10% 的命中率做预算（各项命中率数字 B，区间 C）。把实验室的失败记录、设计文档这类模型拿不到的隐性信息喂给它（专家信息有用：B；喂失败记录：C）。

这些建议对应主站推荐流水线的 S1（选题）和 S2（预注册与评估契约）。

现在还说不了的事

在选题能力上，AI 和人类谁更强：没有直接的基准，现有的几乎都靠代理标签；本调研找到的两项前瞻性评测（天文学历史回测、GapBench-3）最早也要到 2027 年才出分数。
战略品味的变化趋势：TASTE 只有一个时间点。
“人 + AI”是否比 AI 单独或人单独更好：只有零星证据。SciΠvot 中可以借助 agent 助手的研究者胜过单独作答的模型，但没有不带助手的人类对照；也没有用 Claude 或 Codex 做研究构思的盲法随机对照试验。
从短期决策中学到的品味模型，能否推广到方向级的决策：没有人测过。

会改变这些结论的新证据清单，见开放问题。

怎么读本专题的结论

名字相近的基准不是一回事。 TASTE（Anthropic，AI 安全研究提案的两两比较）、Taste-Bench（“The Tasteful Agent”，从 agent 轨迹里挖出的决策分叉）、TasteVal（给定问题上的实验品味，按算力效率计）各测各的。
每条结论尽量带上这些信息：属于哪一格（反馈机制 × 范围）、标签来源（人、LLM 还是结果）、人类对照怎么定义、样本量、任务是否公开、由谁做、是否独立、日期和版本、把握程度。怎么衡量研究品味页末有一张可复用的“读数卡片”。
注意利益相关。 很多“品味”结论出自开发方的 system card 或安全报告，展示型案例则常出自宣传材料。
页面中标 † 的数字或引文，只来自检索阶段的摘录，没有经过第二轮对照原文的核实。

本专题目录

页面	内容
什么是研究品味	人类研究者的说法、各基准的定义、分层框架（未经验证的综合）、反馈回路假说、人类一致性的上限
证据地图	按四个证据层级和 3×3 格子整理正反两面的证据
研究品味基准全览	148 个相关基准的分布、速查、重点基准、数据可得性与空白
研究品味基准目录	逐个基准的完整列表：测什么、标签、主要结果、数据链接
怎么衡量研究品味	基准一览、模型覆盖矩阵、人类上限、LLM 评委偏差、测量规范、读数卡片
AI 的想法为什么偏增量	先看基线，再看按证据强度分级的候选机制，以及“距离新颖”和“方向新颖”的区别
提升研究品味的方法	选择侧与生成侧的方法、搜索替代品味的边界，以及哪些今天就能用
AI 什么时候表现出好品味	成功案例的条件、例外、独立性梯度与领域边界
实践：人和 Claude/Codex 怎么分工选题	十一条分级建议和一套标注了日期的工作流
开放问题	会改变本专题结论的指标、研究方向和维护规则