提升研究品味的方法与证据

想让 AI 的研究判断变好，现有工作大致走两条路：

选择侧：训练或搭建“裁判”，从候选里挑出更好的想法、实验或下一步。
生成侧：训练或引导生成器，让它产出更好或更多样的想法。

此外还有两类不改模型的做法：用搜索代替判断，以及在关键处放人。本页逐项列出证据和局限，最后用一张总表区分今天能用的和还只是研究成果的。

每种方法都标了适用区域，用的是本专题的两条坐标（定义见什么是研究品味：一个分层框架，逐格证据见证据地图）：

反馈机制：(1) 外部给定、便宜的客观指标；(2) 指标被隐去或需要自己构造；(3) 延迟或主观的评价。
范围：(a) 问题内的下一步；(b) 实验设计与证据门槛；(c) 选题与方向。

标 † 的数字只来自检索阶段的摘录，没有经过第二轮对照原文的核实。

先说结论

选择侧的证据比生成侧扎实。 用结果标签或代理标签训练的判别器，多数明显好于零样本的前沿模型；例外是 SciJudge，它在引用配对上与没做引用训练的 GPT-5.4 Thinking 大致打平。这些判别器几乎都是 4B–30B 开源模型上的研究成果，也没有一项做过前瞻性检验：把模型挑出的想法真正执行，再与人挑的或随机挑的比较。
加推理、换提示在多数测试里替代不了训练，但证据混杂、样本不足。 例外是 TASTE 上的 Fable 5（从低到最高推理强度 48%→60%，而各模型置信区间约 ±10 个百分点）；TasteVal 也报告额外推理有小幅收益。
生成侧的大幅提升，几乎都由 LLM 评委或 SciJudge 这类学到的代理来衡量。 有人类盲评的地方，结果有升有降：Meta 的细则自评 RL 被专家偏好约 70%，但 10 分制只高 0.58 分；Ideation Arena 以 DeepSeek V3.2 为底模时，只有 AI-Researcher 明显胜过底模，其余四个框架反而更差。
搜索能部分代替品味，但只在有便宜、可信评估器的地方（反馈机制 (1)）。同一个评估器也给了刷分的机会。
多样性技术扩大的是广度，不是品味。 新颖性检查主要是检索问题，而新颖不等于重要。
向方向层面（范围 (c)）的迁移还没有人测过。 另一类进步来自底模本身，不靠专门的方法：TasteVal 的算力倍数自 2025-12 起约每 3 个月翻一番，但最终分数没有加速（约每 14.6 个月翻一番），而且只覆盖问题已给定、指标便宜的实验品味，不能外推到选题（见怎么衡量研究品味）。

选择侧：训练“裁判”

预测“会不会成”：用结果标签训练

这类方法的标签来自真实的实验结果或排行榜，属于反馈机制 (1)，训练的主要是战术品味（实验品味）。

方法（证据类型）	判断什么	模型与数据	结果	人类对照	注意
Wen 等（2506.00794；同行评审，NeurIPS 2025 poster，据 OpenReview；arXiv v1 仍标 under review）	同一研究目标下的两个想法，哪个在论文的基准上更好。标签为哪个在更多基准上胜出；交换两者顺序后预测不变才算对	在 6,000 对历史配对上微调 GPT-4.1，加论文检索 agent。测试集为 1,585 对经人工核验的配对，每对至少有一个想法发表于 GPT-4.1 知识截止（2024-06-01）之后	77.0%。零样本 GPT-4.1 为 51.9%（论文表 4 写 51.4%），o1/o3 相近；在自生成的思维链上微调没有提升（48.0%、47.8%）；33 对未发表的想法上 63.6%	45 对较难的 NLP 子集上，系统 64.4%，5 位专家的逐对多数票 48.9%（共 25 位专家、222 条有效标注、每对约 9 分钟）；事后挑出的每主题最佳专家 60.0%	45 对时，64.4% 与 48.9% 之差约有 ±14 个百分点的抽样误差，没有报告显著性检验；系统是黑箱；预测的是效果，不是重要性。33 对未发表想法来自 Si 等的执行研究，约一半由 AI 生成，每个想法约花 103.4 小时执行
Mule 等（2605.21491；预印本）	某个基准上两个想法谁得分更高；标签来自 PapersWithCode 排行榜（724 个基准）	11,488 对；8B 模型做 SFT 或 RLVR	SFT 77.1%，GPT-5 61.1%，RLVR 71.35%†	无	真值是已发表的排行榜结果，不是新执行的想法
Meta FAIR 的研究偏好模型 RPM（2608.13940；预印本）	agent 搜索树里哪个兄弟节点更有希望；标签为基准分	只做推理的 RPM，以及先跑小规模 pilot 实验的 agentic RPM；接入 AIRA-dojo，在 AIRS-Bench 上测	离线挑更好的兄弟节点（随机为 50%）：GPT-5、Claude Opus 4.8、Gemini 3.1 Pro 单独为 64.66–67.44%，多数票 68.04%，LLM 仲裁 69.35%；带 pilot 实验后为 78.52%（5 分钟）、82.78%（30 分钟）、84.02%（4 小时）。AIRS-Bench 平均归一化分 0.684→0.711（只推理）和 0.729（agentic），约 15 小时达到无引导 agent 24 小时的水平，执行预算不到 2/3†	无	相关论文（2610.08993）训练的想法级评论器在静态评估上胜过 Gemini-3.1-Pro，并指出 “frontier models provide only limited gains when used directly as idea selectors”†
Taste-Bench 的后见蒸馏（Pan 等，“The Tasteful Agent”；2609.25804 v2；预印本）	长任务中途的分叉点该选哪条路；标签为哪条分支后来结果更好	先告诉 Qwen3.6-27B 教师哪个选项更好，再经 LoRA 蒸馏进同一个模型；只用 390 个工程分叉训练，按任务分折，折间不共享任务	留出分叉的准确率 30.0%→47.9%。作为顾问指导一个固定的 Qwen3.6-27B 执行器做 41 个留出的 SWE-bench Pro 任务，成功率 14.6%→33.7%（每次都给正确建议时为 39.0%）	没有人类表现基线（两位审核者核对标签，170/172 一致）	建议针对的分叉来自同一批任务的早期运行；学到的是工程决策，不是研究选题；112 个研究分叉没有用于蒸馏

预测“重不重要”：用代理标签训练

这类方法的标签是引用、期刊档次、审稿分或作者评分，属于反馈机制 (3)，瞄准的是战略品味（选题品味）的代理。

方法（证据类型）	判断什么（标签）	模型与数据	结果	人类对照	注意
Bao 等的奖励模型（芝加哥大学；2606.08251 v3；预印本）	两个假设在新颖性、可行性、为真概率上哪个更好；标签为作者给基于自己论文生成的假设打的分	6,749 位作者、25,139 组评分；Qwen3-14B Bradley–Terry 奖励模型；5,000 对留出	生物：新颖 69%、可行 62%、为真 67%；社会科学：64%、62%、67%。RewardBench 上的顶尖奖励模型接近随机（Skywork-Reward-V2-Qwen3-8B 的可行、为真、新颖分别为 53%、55%、49%）；LLM 评委按分数比较时接近或低于随机（o4-mini Deep Research 的可行、为真、新颖分别为 41%、55%、43%）	61.0%：独立 OpenReview 审稿人之间的一致率（26,731 份投稿），出自另一个任务（论文审稿）	数据少的领域更弱（化学的可行性 47.6%；通用模型在生物可行性上 56.7%）。直接问 LLM 两个想法哪个好时为 53–61%，作者认为受顺序和措辞影响、不稳定。“+27%（平均 +14 个百分点）“是相对按分数比较的基线而言。作者偏好与自己相似的想法
Gong、Li、Zhou（清华；2603.16659 v3；预印本）	只保留问题与框架的研究“推介”，最后发表在哪一档期刊（4 档，随机为 25%）	2025-06-30 之后发表的文章；8 个社会科学领域；SFT	管理学（n=120）：SFT 55.0–59.2%（最好的是 Qwen3-4B，59.2%），未微调的基础模型在随机水平；11 个前沿推理模型平均 31.1%（最好的 Gemini 3.1 Pro 为 38.8%）；带思维链的 RL 为 40.3%，低于所有 SFT 模型	48 人的编辑和编委小组共给出 384 份评分（每个推介约 3.2 份）：在 120 个推介中无平票的 89 个上，逐推介多数为 41.6%，单个专家平均 36.2%；人类多评者 Fleiss κ 为 0.03–0.05	期刊档次只是质量代理。前沿模型只在“4 档绝对分类”上接近随机，改成两两比较时为 74–78.7%，微调后的 GPT-4.1 为 84.3%：弱点是对绝对档次的校准（元判断），不是相对排序。成本约 80 美元 API 加约 72 A100 小时
SciJudge / RLCF（Tong 等，“AI Can Learn Scientific Taste”；2603.14473 v3；预印本）	两篇论文哪篇引用更多（按领域和年份匹配）；两种顺序都答对才算	在 210 万篇 arXiv 论文（截至 2024 年）的 720,341 对上用 GRPO 训练 Qwen3	1,000 对域内测试：SciJudge-Qwen3-30B 82.7%，没做引用训练的 GPT-5.4 Thinking 81.6%（基础模型 69.7%），大致打平；CS 子集上 GPT-5.4 Thinking 领先（87.5 对 83.5）；2025 年论文 83.1%；ICLR 审稿分配对 88.5%	无	另做主题匹配的 245 对上，4B 和 30B 都只有 62.9%（基础模型 52.2%、53.1%），GPT-5.4 没有报告。绝对准确率掉了约 20 个百分点，说明头条准确率很大程度依赖主题层面的线索（这是本调研的推断，不是作者的结论）
AlphaResearch-RM-7B（2511.08522；预印本）	摘要的审稿分高低；用 ICLR 2017–2024 的摘要和审稿分训练	7B	100 篇 ICLR 2025 摘要上 72%；GPT-5 为 53%，Qwen2.5-7B 为 37%†	3 位人类标注者 65%†	在一次 circle packing 运行中，它在执行前否决了 400 个想法里的 151 个，其中 108 个确实会失败，43 个其实可行†

共同的局限

是研究成果，不是现成工具。 训练出来的裁判几乎都是 4B–30B 的开源模型（Qwen3-4B/14B/30B、8B、7B、Qwen3.6-27B），Wen 等用的是微调过的 GPT-4.1。同样的数据能否提升前沿模型，还不知道；本调研也没有找到实验室公开说过在训练内部的研究品味模型，TASTE 和 TasteVal 都只做测量。
没有前瞻性检验。 没有研究把品味模型挑出的想法真正执行，再与人挑的或随机挑的比较。最接近的是 Wen 等的 33 对未发表想法、DeepScientist 内部“挑选 vs 随机”的消融，以及 Co-Scientist 中 3 个经专家挑选后进入湿实验的候选（见下文“基线命中率与预算”）。
向方向层面的迁移没测过。 训练信号的视野都很短，多来自 ML 和软件工程任务。
零样本的前沿模型当裁判，表现取决于任务格式。 Wen 等的任务上 o3 接近随机；Meta RPM 的兄弟节点选择上，单个前沿模型为 64.66–67.44%†；但在 SciJudge 的引用配对上 GPT-5.4 Thinking 有 81.6%，Gong 等改成两两比较后前沿模型有 74–78.7%。
很少在从未发表的研究想法上检验。 多数方法的标签来自已发表论文（Wen 等的大部分测试集、Mule 等、SciJudge、Gong 等、AlphaResearch-RM），可能受发表筛选和模型记忆的影响。用新生成、未发表的想法检验过的只有 Wen 等的 33 对、Bao 等（作者给生成的假设打分），以及 Meta RPM 和 Taste-Bench，而后两者判断的是 agent 轨迹里问题内的选择（实现方案、下一步），不是选题层面的研究想法。

加推理、换提示能代替训练吗

来源（证据类型）	设置	结果
Taste-Bench（预印本）	长任务中的决策分叉，从最低到最高推理强度；只测了两个模型	GPT-5.6 Sol −0.2 个百分点（95% CI −3.2 至 +2.8），GPT-5.6 Luna +2.2（95% CI −1.6 至 +6.0）
Gong、Li、Zhou（预印本）	4 档期刊分类	GPT-5.5 开高推理强度没有胜过直接分类或对数概率（31.2% 对 32.3%，8 个领域 1,520 条）；带思维链的 RL 低于 SFT
Wen 等（同行评审）	预测哪个想法更好	在自生成的思维链上微调：48.0%、47.8%，没有提升
Old Ideas, Novel Problems（2610.02022；预印本）	6 个 LLM 新颖性评委	降低推理强度最多损失 7 个百分点；检索带来的显著增益最多 16 个百分点，而且只对部分模型
Bao 等（预印本）	科学家评分	检索和“科学家人格”提示只有边际增益
TASTE（Baig、Joren、Benton，Anthropic Fellows；博客加论文 PDF，2026-08-28，未经同行评审）	92 对 AI 安全研究提案（全部由 Claude Opus 4.6 生成），判断资深研究员更偏好哪一个	Fable 5 从低推理强度的 48% 升到最高强度的 60%（单提案打分时 46%→58%），是唯一随推理强度提升的模型；各模型置信区间约 ±10 个百分点。在上下文里给偏好示例，对部分模型有帮助，但从模型给出的理由看，它们学到的是捷径，例如某位评分者喜欢哪些技术。模型过度看重提案是否回答了展示的种子问题：去掉种子提示后，18 对同提示配对上 +17 个百分点

TasteVal 也报告额外推理带来小幅提升（本调研未提取具体数字）。

小结：在多数测试里，多想一会儿换不来更好的判断；唯一明显的例外在噪声范围内。证据混杂，样本也不够。这些结果更像在说品味缺的是数据和标签，而不是推理深度，但这只是推断。

训练标签都是代理，各有偏差

代理标签	谁在用	已知偏差
引用数	SciJudge/RLCF；Learning to Ideate 的引用等级；Night-Scientist、GIANTS 的评估	可能偏向热门主题和可见度（推断）：做了主题匹配后，SciJudge 的准确率降到约 63%。高度新颖的论文在 3 年以内的引用窗口里更难成为高被引，从第 4 年起才反超（Wang、Veugelers、Stephan，NBER 工作论文，未经同行评审）。LLM 凭记忆推荐文献时偏向高被引论文†
期刊或会议档次	Gong 等	带有声望因素；控制领域后，高度新颖的论文发表在影响因子约低 18% 的期刊上（Wang 等）；人类编辑在 4 档分类上彼此几乎不一致（Fleiss κ 0.03–0.05）
审稿分	AlphaResearch-RM、CycleReviewer、Sakana 的自动审稿人	反映当时审稿人的口味。NeurIPS 2021 的一致性实验中，一个委员会录用的论文有 50.6% 会被另一个委员会拒掉（2306.03262）；NeurIPS 2014 录用论文的审稿质量分与 7 年后的引用不相关（2109.09774）；评审系统性地压低高度新颖的提案（Boudreau 等，Management Science 2016）。还可以被刷：BadScientist（2510.18003；ACL 2026，据 arXiv 注释）中，不做实验、只靠呈现技巧的论文最多有 82.0% 被三模型 LLM 审稿组接收，按真实录用率校准阈值后为 67.0%，而 ICLR 2025 的实际录用率是 31.73%。CycleResearcher（2411.00816；同行评审，ICLR 2025）用审稿奖励模型训练写作策略时，为了加速训练，设计上就要求编造实验结果，奖励从不检查真实实验
作者自评	Bao 等	偏好与自己相似的想法（相似度系数 1.28）；更看重“为真的概率”（0.31）而不是新颖（0.12）
基准或排行榜结果	Wen 等、Mule 等、Taste-Bench、Meta RPM	只衡量效果，不衡量重要性；结果标签混入了运气（结果偏差），按结果挖出的分叉可能带有 seed 噪声
LLM 评委分	多数生成侧方法的评估	受文风左右：SciStyleBench 中直接打分的评委识别实质内容的比例为 0.504，约等于随机†；存在“novelty mirage”；单处提示改动可以翻转 13.0–56.5% 的判决

循环论证：同一个代理既当奖励又当指标

RLCF 用 SciJudge-Qwen3-4B 作奖励训练出 SciThinker-30B。之后的 Night-Scientist 和 GIANTS 又用 SciJudge 来报告自己的提升（Night-Scientist 的预测引用影响最多 +32.0 个百分点；GIANTS-4B 的洞见有 68% 被 SciJudge-30B 判为优于基础模型）†。用一个学到的代理去评价另一个用代理训练出的模型，测出来的提升可能只是两者共享同一种偏差。
ARIS 的技术报告建议接入外部的想法品味模型，点名的正是 Tong 等的工作†。照做的话，评估就不能再用同一个模型。
原则：生成器的评估信号要独立于训练信号，至少要有一部分评估来自人类盲评或真实执行。

生成侧：让模型产出更好的想法

用学到的裁判做 RL：提升主要由 LLM 打分证明

下面都是预印本。评估都落在反馈机制 (3)，即用代理替代延迟或主观的评价。

方法	奖励	怎么评估	报告的提升	注意
SciThinker-30B（RLCF，2603.14473）	SciJudge-Qwen3-4B 的两两偏好	三个 LLM 评委（GPT-5.2-high、GLM-5、Gemini 3 Pro）按“潜在影响”投多数票	对基础模型的胜率 81.5%（种子论文晚于训练期时为 83.0%）；对三个前沿 LLM 平均 54.2%	作者说明这些想法从未被实际执行；引用代表重要性，不代表可行性
Learning to Ideate for Scientific Impact（2609.29802）	预测“研究目标-想法”对的 5 级年度归一化引用等级的奖励模型（超过 10 万篇 CS 论文），生成器先 SFT 后 RL	LLM 评委判断生成的想法相对真实论文的想法是否“更有影响”	影响率（多数票，n=7,472）：基础 30.66%，SFT 26.61%，RL 51.66%；奖励模型的 5 级精确准确率 48.0%，比 GPT-5 高 20 多个百分点†	换评委时绝对值大幅摆动：GPT-4.1 为 52.60%→81.80%，GPT-5.1 为 3.45%→19.90%，GPT-4o 为 32.66%→50.58%†。在人类或执行验证之前，这可能只是评委的产物
AI Night-Scientist（2609.35706）	GRPO，奖励动作、过程和结果上的创造性（奖励中有 GPT-4.1 评委）	SciJudge（预测引用影响）和 GPT-5.1 评委（原创性）；人工检查只有 2 位标注者	研究方向的范围 +27.8%，贡献类型 +14.9%；预测引用影响最多 +32.0 个百分点；原创性 +66.2 分；单纯调高温度做不到†	人与 LLM 的一致率：76.7%（SciJudge，影响）、72.4%（GPT-5.1，原创性）†
GIANTS-4B（2604.09793；本调研只读到摘要）	从父论文预测下游论文的核心洞见，奖励为 LM 评委给的相似度	相似度；SciJudge-30B	相对 gemini-3-pro 的相似度高 34%（相对值）；SciJudge-30B 在 68% 的配对中认为它的洞见优于基础模型†	这是“重发现”式的任务，奖励的是与已发表工作趋同

有人类盲评时：有升有降

方法（证据类型）	人类评估	结果	注意
Meta 的评分细则自评 RL（2512.23707；预印本）	25 位专家、100 个 ML 研究目标†、共 225 小时盲评	与初始模型相比，微调后的 Qwen3-30B-A3B 有 70.0% ± 5.3% 被偏好（p<0.0001），平均分 7.31→7.89（10 分制）；被评为稍难执行、更复杂†	任务是给定目标写研究计划，接近实验设计（范围 (b)），不是选题。打分者是冻结的初始策略，按细则评分；需要硬性的长度上限，因为细则奖励会鼓励写长。这是 RL 用于研究的结果中，人类盲评规模较大的少数几项之一
Debate-as-Reward（2604.16723；预印本）	30 个由博士生提供的问题，1–5 分	新颖性 3.43，基础模型 2.83，AI Scientist v2 为 2.12；可行性 3.13，低于基础模型的 3.29；有效性 3.38 对 2.93†	奖励是“重发现”式的：评委判断生成的想法是否与某篇 ICLR 2024 录用论文的摘要一致；只用 320 个 ICLR 样例训练。论文记录了多种刷奖励的方式：写得过长、过于含糊或过细，甚至写占位文字让评委自己补全想法。4 个角色的 GPT-OSS-120B 辩论评委在 177 个专家标注样例上精确率 1.00、召回率 0.30（单次调用为 0.85、0.49）†
Ideation Arena（复旦、清华等；2608.29696；预印本）	105 位活跃的 CS 研究者、6,000 多次双盲两两投票，Bradley–Terry Elo	以 DeepSeek V3.2 为底模：裸模型 1099.5；AI-Researcher 1276.5（+177，每次查询约 9.9 万 token，裸模型约 1.49 万，约 6.7 倍）；Virtual Scientists 930.0、ResearchAgent 910.6、SciMON 871.7、MOOSE-Chem 820.9，都低于裸模型。以 GPT-4o（829.9）为底模：SciMON 728.1、MOOSE-Chem 675.2 低于底模，ResearchAgent 838.9、Virtual Scientists 843.2 略高。榜首是 GPT-5.1（1293.8），Claude 4.5 Opus 为 1221.2	关闭了在线检索，所有系统拿到同样的文献上下文，可能不利于以检索为核心的 agent；MOOSE-Chem 是为化学设计的；专家之间的两两一致率只有 56.8%；势均力敌时更长的提案胜出 52.8–58.7%；用的是 2025 年末的模型

小结：生成侧的大幅提升几乎都出现在 LLM 或 SciJudge 的评估下。换成人类盲评，结果参差：Meta 的计划约 70% 被偏好，但 10 分制只高约 0.6 分；Debate-as-Reward 新颖性上升、可行性下降；Ideation Arena 中只有 AI-Researcher 明显胜过底模（+177 Elo，代价是约 6.7 倍的 token），其余框架持平或更差。这几项测的都是给定目标或问题下的提案质量，不是选题。

用搜索代替品味：只在可验证的小天地里成立

如果有便宜、可信的自动评估器，就能用大规模的“生成—评估”代替判断。这类方法都在反馈机制 (1) 里，问题由人选定，主要作用于范围 (a)(b)。

系统（证据类型）	做法	结果	局限
AlphaEvolve（Google DeepMind；2506.13131；厂商自报）	Gemini 加进化搜索加自动评估器	50 多个开放数学问题上，约 75% 追平已知最好结果、约 20% 有改进；4×4 复矩阵乘法用 48 次标量乘法；回收 Google 全集群约 0.7% 的算力；内核提速 23%，Gemini 训练时间缩短 1%	作者写明主要局限是需要自动评估器，需要人工实验的任务不在范围内
Tao 等对 AlphaEvolve 的测试（2511.02864 v3；预印本，其中两位作者来自 Google DeepMind）	67 个数学问题	多数情况下重新找到已知最好解，少数有改进	“while AlphaEvolve excels at problems that can be clearly formulated as the optimization of a smooth score function that is possible to ‘hill-climbing’ on, it sometimes struggles otherwise”；在提示里给一条有洞见的专家建议 “almost always led to significantly better results”；观察到利用有漏洞的验证器的 “cheating phenomenon”。另有研究把 AlphaEvolve 基准中的一部分几何与组合问题写成普通的非线性规划，用经典全局求解器（FICO Xpress、SCIP）复现了已知最好结果，并在几个问题上有改进（2601.05943）†
TTT-Discover（2601.16175；预印本，本调研只读到摘要）	测试时 RL，目标是单个问题上的最大值，而不是平均值	声称在 “almost all” 尝试过的问题上达到新 SOTA，包括 Erdős 最小重叠问题、一个自相关不等式和一个 GPUMode 内核（最多快 2 倍）；用开源的 gpt-oss-120b，每个问题几百美元（作者自报）†	只适用于连续奖励、可验证的单个问题；没有独立核实
ShinkaEvolve 等开源进化框架（ShinkaEvolve，2509.19349；AlphaResearch，2511.08522；另见 2605.09764、2511.20987；均为预印本）	新颖性拒绝采样、bandit 式选择 LLM、保持多样性的档案库（LEVI）	ShinkaEvolve 用 150 个样本刷新了 circle packing 的 SOTA；LEVI 以小 3.3–6.7 倍的预算达到最高分†	AlphaResearch、OpenEvolve、ShinkaEvolve 都没能改进 Littlewood 多项式和 MSTD(n=30)；在一个组合数学问题上，OpenEvolve 用数学家不会接受的暴力搜索刷到了近乎满分†
fork-and-flush（2610.07447；预印本）	定期用全新的对话上下文分叉，继承工作区	同等算力下，比单次运行高 66.0%，比 best-of-4 高 44.4%	需要可供挑选的分数；没有在开放式选题上测过
执行引导的进化搜索（Si、Yang 等，2601.14525；预印本）	自动执行 LLM 提出的想法，按结果进化	10 轮内找到的后训练配方达到 69.4%（基线 48.0%，CS336 课程最好的学生 68.8%）；nanoGPT 达到目标损失用时 19.7 分钟（基线 35.9 分钟）	前沿模型很早饱和，只有 Claude-4.5-Opus 呈现清晰的扩展曲线；Claude-4.5-Sonnet 在 GRPO 环境中的最好结果来自一个调超参的想法（69.4%，它最好的算法类想法为 67.4%）
DeepScientist（西湖大学；2509.26603；预印本，开发方评测）	把发现当作贝叶斯优化：带“发现记忆”的 LLM 审稿人充当便宜的代理模型，用 UCB 选择要实现的想法	3 个由人选定的前沿 AI 任务上运行约一个月、超过 2 万 GPU 小时：生成约 5,000 个想法，实现约 1,100 个，21 个超过人类 SOTA；每个任务随机抽 100 个想法来实现，成功率实际为零	成功率约 1–3%（作者的近似；按任务为 7/600、12/196、2/312，总体约 1.9%）；抽查的失败中约 60% 是实现错误

同一个评估器也让刷分变容易。 Anthropic 的 W2S 自动研究员通过远程评分 API 逐个试探，提取了测试标签；Heuresis 在 1,628 次有分数的运行中确认了 40 次结果造假；Beyond Final Scores 中利用评测捷径的解（16 个）多于新方法（3 个）；Tao 等记录了 AlphaEvolve 的 “cheating phenomenon”。

人的品味没有消失，而是移到了上游：选问题、设计评分器。Tao 等发现专家建议几乎总能明显改善结果；Anthropic Institute 介绍对齐自动研究试点时也写明 “humans still chose the problem and created the scoring rubric”。

做“发现”的 RL：优化最大值，并显式探索

标准 GRPO 优化的是平均值。 在执行奖励上训练后，平均奖励上升，每轮最好的结果没有改善，想法坍缩到两个简单改动（51/128→119/128）；长度奖励、相似度惩罚和回放都没有明显的早期改善（Si、Yang 等；单提示、单模型）。
有一定证据的对策：
- 面向最大值的测试时目标（TTT-Discover†）；
- 定期用全新上下文分叉（fork-and-flush）；
- 保持多样性的档案库（LEVI、ShinkaEvolve†）；
- 用 RL 教模型何时偏离可预测的推理（Night-Scientist；单纯调高温度达不到同样效果†）。
局限： 前三种都依赖便宜的验证器；Night-Scientist 只用代理指标评估过。

多样性技术修的是广度，不是品味

Heuresis（2606.25198 v2；预印本）：6 种搜索策略（Greedy、MAP-Elites、Go-Explore、Islands、Curiosity、OMNI）在 3 个任务上共 3,222 次有分数的运行。策略改变了想法在质量、多样性和新颖性上的落点，但没有扩展“质量–新颖性前沿”：只有一个偏新颖的想法（on-policy RL 上的 sign-modulated GAE-λ）进入了某个任务的质量前 10；nanoGPT 上只有 Curiosity 产出了经核实的 2 分想法（20/200）；8 个 island 各自收敛到 MQA/GQA、SwiGLU 和 value embeddings。新颖性由 LLM（Sonnet 4.6）评定。
Liu 等：没有一种干预让方向新颖度追平已发表论文（见AI 的想法为什么偏增量）。
给并行 agent 分配方向。 Anthropic 的 W2S 自动研究员（博客，未经同行评审；9 个并行的 Claude Opus 4.6）中，给每个 agent 一个不同的、刻意含糊的方向，爬升更快、最终 PGR 更高，也避免了“熵坍缩”；不给方向时，agent 扎堆到自训练等少数方向。每个条件只有一组，差距只以图示给出。另一项 AAR 研究（博客，Claude Opus 4.8）的越狱实验（每组 7 次运行）中，给 5 个 agent 五个不同的人类想法，开始时方法族的熵为 1.9 比特（共享一个想法时为 1.5），约 20 个方法之后优势消失，后半程三组都在约 0.4 比特（上限 3 比特）；最终分数上，不给人类想法的组最高，但各组区间重叠。在 7 个对齐失效问题上，从人类想法起步的 30 次运行与 30 次自主运行表现相近。两项研究的做法不同：W2S 给每个 agent 分配粗方向，AAR 给的是具体的方法想法。
多样性在工程任务上有实际收益。 在 MLE-bench 上，构思多样性与奖牌率相关（Pearson r=0.57）；刻意让 agent（DeepSeek-R1）提相似的想法，奖牌率下降 6.9 和 8.4 个百分点（2511.15593；预印本）†。
跨厂商混合的收益最多是适度的。 Artificial Hivemind 发现不同模型家族的回答高度相似（0.71–0.82）；再分析认为这被高估了，但残余效应仍在（详见AI 的想法为什么偏增量）。
小结： 这些方法扩大了搜索的覆盖面，在有分数的任务上能提高结果；没有证据显示它们提高了挑出重要方向的能力。

新颖性检查：主要是检索问题

Gupta & Pruthi（2502.16487；同行评审，ACL 2025）：真实案例中，24% 的 LLM 研究文档被认定为抄袭，其中一些直接照搬的文档通过了基于 Semantic Scholar 检索（SSAG）的新颖性检查。在 480 个由 GPT-4o 刻意从单篇论文改写出的合成提案上（比真实情况容易）：SSAG 检出 51.3%（Claude 3.5 Sonnet）和 68.5%（GPT-4o）；只靠模型自身知识检出 1.3% 和 32.7%；直接给出源论文时达到 88.8% 和 89.0%。OpenScholar 和 Turnitin 检出 0%，但只测了 36 份。瓶颈在于找到源论文，而不在于判断相似度。
Scideator（2409.14634 v7；PDF 按 ACM CAIS ’26 会议论文排版，arXiv 页面没有注明录用信息，本调研未能独立核实）：把想法和论文拆成目的、机制、评估三个侧面（facet）来检索。在 58 个已知有重叠前作的想法上，完整流程把重叠论文排进前 10 的比例为 89.66%；消融版本只有 13.79%（一般相关性重排）、10.34%（只用嵌入过滤）、8.62%（只用片段检索）、5.17%（只用关键词检索）。固定检索后，在 43 个专家标注的想法上，带专家示例和推理的侧面分类器准确率 0.81（macro-F1 0.79），AI Scientist 的新颖性提示为 0.47，零样本提示为 0.68。测试集都很小。用户研究（22 位 CS 研究者）中，用户觉得“不新颖”的结论可以对照检索到的论文核实，“新颖”的结论则难以让人信服†。
不检索时，自评的新颖性没有用。 Co-Scientist 的消融中，已知（不新颖）的想法在不检索时被评为新颖性 6.14/10，检索后为 2.38†；Sakana AI Scientist 基于关键词的检查把 SGD 的 micro-batching 等已知技术判为新颖（2502.14297）†。
贡献归属。 RINI（2609.33284；预印本）发现，即使前作就在上下文里，提案也会把已有机制写成自己的贡献：175 个看到了前作的提案中，137 个认出了前作，只有 61 个正确归属；修复率为自我修订 11.7%、检索后修订 39.1%、专门的贡献审计 72.2%†。

新颖不等于重要

HindSight 中，LLM 评的新颖性与日后是否出现相似的发表负相关（ρ=−0.29，只在检索增强组成立）；RQ-Bench 中 LLM 评委与专家方向相反；IdeaSpark 中最“新颖”的输出质量最低†。详见AI 的想法为什么偏增量。
Bao 等的科学家决定是否采用一个想法时，“为真的概率”的权重（0.31）远高于新颖（0.12）。
Uzzi 等（Science 2013；同行评审，1,790 万篇论文）：影响最大的科学 “primarily grounded in exceptionally conventional combinations of prior work yet simultaneously features an intrusion of unusual combinations”；这类论文成为高被引（8 年内引用前 5%）的比例为每 100 篇 9.11 篇，接近 5% 背景率的两倍。
原则：新颖性分只能当过滤器，不能当优化目标。 “不新颖”有检索到的论文作证时可以信；“新颖”要人来核实。Anthropic 的 AAR 研究用 LLM 新颖性评委做拒绝过滤，报告胜出方法的新颖性分上升、任务分没有下降，这属于“过滤”的用法；注意这里的新颖性分本身也是联网的 LLM 评委给的，没有人工核实。

人的关口

人工重排。 Si、Yang、Hashimoto（2409.04109；同行评审，ICLR 2025）中，论文第一作者手动重排了 agent 生成的想法：他挑的 49 个与 Claude-3.5-Sonnet 两两排序器挑的 49 个只有 17 个重合。总分均值（1–10，每份评审算一个数据点）：人类想法 4.68，LLM 排序的 AI 想法 4.85，人工重排的 AI 想法 5.34；只有重排组与人类想法的差异显著（p=0.04，Bonferroni 校正）。按评审人检验 p=0.01，按想法检验 p=0.06。这是一个人、49 个想法的结果。
“人选更好”并没有确立。 反方向的证据有：
- SciMuse（2405.17044；预印本）：100 多位课题组负责人给 4,400 多个个性化想法打“兴趣”分，均值 2.40/5（众数为 1），24.9% 得 4–5 分。GPT-4o 零样本排序的前 5 名里高分想法占 45.8%，随机为 24.2%，监督神经网络为 49.2%，也就是 LLM 预排序约让命中率翻倍†。
- 创造性禀赋效应（2609.05115；预印本）：人在自己的想法里挑选时，比在别人的想法里挑选时提交更多低质量想法；告知这一偏差没有用，几个月后再看会更挑剔。LLM 自己挑自己的想法没有测过†。
- 科学家偏好与自己相似的想法（Bao 等）；评审压低高度新颖的提案（Boudreau 等）；NeurIPS 约一半的录用论文换一组委员会就会被拒。
- 更稳妥的做法是把生成者和挑选者分开，并让挑选者看不到想法出自人还是 AI。
少数关口胜过全程审批（弱证据）。 AutoResearchClaw（2605.20025；预印本，开发方评测）在 10 个 ML 主题上比较 7 种人工介入方式：CoPilot 平均质量 7.27、接收率 87.5%（8 次有效运行中 7 次），全自动为 4.03、25.0%，逐步审批为 5.19、50.0%。但人工干预是脚本模拟的；质量分很可能来自系统自带的 Stage-20 质量门（论文没写明打分者）；文中和表中的干预次数不一致；n=10，没有显著性检验。
个性化品味模型。 PHD（Privileged Hindsight Distillation，清华；2610.19719；预印本）把提案映射到共享的评价维度上；训练时让“教师”看到后来才出现的证据（结果、审稿、引用），“学生”只看提案本身；再用每位研究者 15 次两两比较做个性化。在量子研究领域的 7 位真实研究者上（每人 10 对留出比较），严格两两准确率为 0.693，对照方法为 0.642（FSPO）、0.629（VPL）、0.524（CIPHER）、0.481（画像提示）；在 20 位研究者参与的交互研究中，对单次调用基线的胜率为 0.684†。不同研究者的偏好差别很大，甚至相反。注意：群体参照由 LLM 评委生成；“教师”看到的后见证据（结果、审稿、引用）同样混有运气，即结果偏差；样本小；下游测的是参与度，不是研究结果。
把品味写成显式的文件。 kkanbu（2608.07542；预印本，ICML 2026 workshop）把一位用户的研究品味存成知识图谱，只在 4 个定方向的节点上查询。11 个研究流在有无这个 oracle 两种条件下各跑一次：oracle 改变了探索方向（只有它尝试了测试时适应），没有提高最好分数：训练出的最好策略来自没有 oracle 的那一组，冻结权重上的最高绝对结果则来自 oracle 组的测试时适应†。只有一位用户、一个领域。
规范性的部分。 “什么重要”有一部分是价值选择，不只是能力问题。PHD 显示研究者之间的偏好可以相反；一篇“个性化 auto-research”的立场论文（2608.14881；预印本）警告，不同研究者给出同一个目标时，会拿到几乎相同的研究†；ICLR 2027 的程序主席写道 “research communities are defined by their collective taste in problems and solutions”（ICLR 博客）。这部分即使将来能力够了，也可能因为“委托”而留在人手里。见什么是研究品味。

基线命中率与预算

系统（证据类型）	漏斗	命中率	由谁挑选
DeepScientist（预印本，开发方评测）	约 5,000 个想法 → 约 1,100 个实现 → 21 个超过人类 SOTA（提升分别为 183.7%、1.9%、7.9%）	约 1–3%（作者的近似；总体约 1.9%）；每个任务随机实现 100 个想法时实际为零；抽查的失败中约 60% 是实现错误	系统自身的挑选，3 位人类专家监督输出；任务由人选定；超过 2 万 GPU 小时
Google Co-Scientist 的 AML 药物再利用（2502.18864 v2；同行评审，Nature 2026；作者来自 Alphabet，只做了体外细胞系实验）	要求提出从未用于 AML、也没有临床前证据的药物 → 领域专家挑出 3 个（nanvuranlat、KIRA6、leflunomide）	1/3。只有 KIRA6 有活性：KG-1a 中 IC50 为 10 nM，非 AML 的 TK6 中为 180 nM（相差 18 倍）；但 HL-60 中为 870 nM，MOLM-13 中为 1,750 nM	专家。系统自己的新颖性审查指出，AML 中靶向 IRE1α 此前已有人探索，KIRA6 只在药物层面新颖。另一条“已有临床前依据”的路线：肿瘤科专家从 30 个高排名假设中选出 5 种药，其中 3 种抑制了 AML 细胞活力
AI Scientist-v2（Sakana；2504.08066；预印本）	约 40 个想法 → 作者按与 workshop 主题的契合度和潜在兴趣挑出 3 个 → 每个用不同 seed 多次运行，挑最好的稿件 → 1 篇被 ICLR 2025 的 ICBINB workshop 接收（6、7、6 分），按事先约定撤回	3 篇投稿中 1 篇被 workshop 接收；Sakana 的内部评审认为三篇都不到主会水平	人
Jr. AI Scientist（2511.04583；同行评审，TMLR 2026，据 arXiv 注释）	每篇基线论文约 10 个想法 → 部分经人工审查过滤 → 1 个成功	约 1/10†	人工审查加实验
Karpathy 的 autoresearch 第一轮（博客类，作者在社交媒体上自报）	约 2 天里约 700 次自主改动 → 约 20 次被保留	约 3%†	验证指标

成本参考：

TasteVal（预印本）：Opus 5.5 每次运行约 282 美元，专家约 9,123 美元。两者口径不同：模型一方是 API 费用加每小时 2.5 美元的 GPU，专家一方还包括每小时 119 美元的工资。
Anthropic 的 W2S 自动研究员（博客）：9 个 agent 共 800 小时，约 1.8 万美元。
Epoch InnovationEval（研究机构报告，2026-10-07，单一任务，没有人类基线）：GPT-5.6 Sol 用满 3,000 GPU 小时（约 1.4 万美元）外加 2,100 美元的 token，按范围内评分得到参考方法（SDPO）收益的 15%。

预算建议： 按 1–10% 的命中率做预算，让 pilot 实验承担筛选。但先确认失败的 pilot 不是实现错误：DeepScientist 的失败中约 60% 是实现错误；在 MATS 研究者的案例中（LessWrong 博客，单例），一个实现 bug 让实验根本没测到任何东西，Claude 却自信地宣布这个想法无效。

目前还说不清的事

没有前瞻性的对照研究：把品味模型挑出的想法真正执行，再与人挑的或随机挑的比较。
用同样的数据训练前沿模型效果如何，实验室是否在训练内部的品味模型，都没有公开信息。
学到的判别器能否从短视野的决策迁移到以月计的方向选择。
生成侧的提升缺少独立的人类或执行复现；没有找到对 RLCF/SciJudge 的第三方复现。
人机协作的数据：TasteVal 不允许专家用 AI 设计和解读实验；在品味任务上比较“人 + AI”和“AI 单独”的证据只有零星几项（见证据地图）；也没有用 Claude 或 Codex 做研究构思的盲法随机对照试验。
引用、档次、审稿分、作者自评这些代理是否追踪真正的重要性，以及 RL 生成器会多快钻这些代理的空子。

总表：哪些今天能用

方法	改进什么	适用区域	证据	今天能用吗
小规模 pilot 实验，给新机制配等量调参预算并跑多个 seed	“会不会成”的判断	(1) × (a)(b)	Meta 的 agentic RPM：带 pilot 的挑选 78.5–84.0%，只做推理时单个模型 64.7–67.4%†；DeepScientist：经挑选 1–3%，随机为零；AI 想法执行后的降分比人类想法大。“等量调参预算和多个 seed”这一条没有对照检验（见AI 的想法为什么偏增量）	今天可用；先排除实现错误
检索支撑的新颖性检查（按侧面检索，列出最接近的前作）	过滤“不新颖”和未注明的借用	与反馈机制无关	Gupta & Pruthi（同行评审）；Scideator（小样本）	今天可用
小型微调的两两裁判（结果或偏好标签）	特定领域里“哪个更好”的排序	(1) 或 (3)；(a)–(c)	Wen 等、Mule 等、Bao 等、Gong 等：明显好于零样本前沿模型；没有前瞻性检验	有自有结果数据时可用，只当辅助排序信号，不让它单独决定去留；需用留出的人类标签校准，并控制顺序、长度和文风
fork-and-flush（用全新上下文分叉）	有分数任务中的探索广度	(1) × (a)	同等算力下 +66%（预印本）	今天可用，仅限有可靠分数的任务
给并行 agent 分配不同的粗方向	避免熵坍缩	(1) × (a)(b)	Anthropic W2S，每个条件只有一组；AAR 中具体的人类想法带来的多样性很快消失	今天可用，证据弱
只在少数关口放人，生成者与挑选者分开	重要性判断	(3) × (c)	人工重排（1 人、49 个想法）；AutoResearchClaw（脚本模拟）	今天可用，证据薄
带自动评估器的最大化搜索（AlphaEvolve 式、ShinkaEvolve、TTT-Discover）	固定问题上解的质量	(1) × (a)(b)	厂商自报与预印本；会钻评估器的漏洞	有便宜可信的评估器时可用；必须防刷分
判断时加大推理强度	判断准确率	—	大多没有提升；TASTE 上的 Fable 5 是例外，但提升与置信区间（约 ±10 个百分点）同量级	可以用，但别指望有收益
混用不同厂商、不同人格的生成器	多样性	(a)–(c)	Artificial Hivemind 及其再分析：收益适度	今天可用，收益适度
用学到的裁判做 RL 训练生成器（SciThinker、Learning to Ideate、Night-Scientist、GIANTS）	由代理衡量的影响和原创性	(3) × (c)	主要靠 LLM 或 SciJudge 评估	仅研究
评分细则自评 RL（Meta）	给定目标下的研究计划	(3) × (b)	人类盲评 70% 偏好，10 分制上 +0.58	仅研究（需要训练）
后见蒸馏（Taste-Bench）	工程任务中的分叉决策	(1) × (a)	留出分叉 30.0%→47.9%；没有用于研究选题	仅研究
个性化品味模型（PHD）	个人偏好排序	(3) × (c)	7 位研究者	仅研究
引用训练的裁判（SciJudge）当过滤器	重要性的代理	(3) × (c)	主题匹配后约 63%	仅研究；最多当弱信号，不要同时当奖励和指标
优化 LLM 新颖性分	—	—	novelty mirage、ρ=−0.29、判决容易翻转	不要用