AI 的想法为什么偏增量

“AI 提的研究想法偏增量”是这个方向最常见的观察。Anthropic 在 Claude Opus 5.5 的 system card（厂商文件，2026-09-22，§2.3.3）里写道：“As with previous models, it is weaker on open-ended research: internal users report that it mostly tests incremental ideas and prefers less ambitious hypotheses”。这是定性的内部反馈，card 没有给出原因。

这一页回答两个问题：

这种偏向有多少是 AI 特有的？人类在同样条件下怎样？
AI 特有的那部分可能来自哪些机制，各自的证据有多强？

本页沿用本专题的两条坐标（定义见什么是研究品味：一个分层框架，逐格证据见证据地图）：

反馈机制：(1) 外部给定、便宜的客观指标；(2) 指标被隐去或需要自己构造；(3) 延迟或主观的评价。
范围：(a) 问题内的下一步；(b) 实验设计与证据门槛；(c) 选题与方向。

标 † 的数字只来自检索阶段的摘录，没有经过第二轮对照原文的核实。

先看基线：增量本来就是常态

判断“AI 偏增量”之前，先要知道人类在同样条件下有多少是增量。下面三组数据都显示，人类研究的进展也大多来自增量改动；在预算短、结果容易验证的任务里更是如此。

来源（证据类型）	测的是什么	人类	AI	标签来源	注意
METR 的 NanoGPT 记录分析（Shetty，2026-04-21；博客，METR Note，这类笔记审阅较少，不一定代表 METR 的观点）	NanoGPT speedrun 小赛道全部 77 条记录（2024-05 至 2026-03，36 位贡献者），训练时间从 45 分钟降到 1.43 分钟，共 31 倍；按改动的深度和来源分类	全部 77 条记录（绝大多数是人类贡献）中，浅层和中等深度的改动合计贡献了 31 倍中的约 21 倍；按来源，引入、改造、原创的想法分别贡献约 6.7、3.0、1.6 倍；2025-01 至 2026-03 的记录有 33% 属于原创（前 20 条里只有 Muon 一条）	4 条与 AI 系统共同署名的记录（Hiverge、Locus、Aster、Station）全部是浅到中等深度，且都是引入或改造已有想法	作者在 Claude Code 帮助下分类	4 个系统都有人类共同贡献者，算力和人工指导程度未披露。原文：“can’t yet distinguish agent shallowness from a low base rate”
TasteVal 新颖性审计（Jaffe & Sherburn，P-Zero Research；2610.06824 v2，2026-10-06；预印本）	8 个未公开的 AI 研发任务，问题固定，每次运行 40 H100 小时；正式提交按调参/组合/改造/原创（Tuned/Composed/Modified/Invented）分类	专家的正式提交（约两打）：调参 20%、组合 72%、改造 8%、原创 0%	18 个模型各 30 份，共 540 份：原创 0；前 10% 运行中的约 1,600 个实验（含失败和被弃的）：原创 0；GPT-5.6 Sol 之前，每个模型的“改造”至多 1/30	单个 LLM（Fable 5.0 high，联网），论文没有报告人工核验；Fable 5.0 本身因多数任务拒答而没有被评测	任务私有，无法独立复核；只有“改造”一档能做人机比较，而人类样本很小。作者：“Progress so far has come from shallow and moderate optimization rather than novel ideas”
Wang、Veugelers、Stephan（NBER 工作论文 22180，2016；未经同行评审，正式版发表于 Research Policy 2017，系数可能略有不同）	2001 年 Web of Science 论文的约 106 万条“论文-领域”记录；“新颖”指首次出现、按难度加权的参考期刊组合	只有 11% 的论文包含任何新组合	—	文献计量代理指标	跨学科、只看 2001 年；高度新颖的论文在 3 年以内的引用窗口里更难成为高被引，从第 4 年起才反超

另有两项只测了 AI、没有人类基线的研究，结论方向相同：

来源（证据类型）	设置	结果	标签来源	注意
Heuresis（2606.25198 v2；预印本）	Gemini-3.1-Pro（OpenCode）在 nanoGPT 预训练、on-policy RL、模型遗忘三个任务上比较 6 种搜索策略，执行 5,400 次，其中 3,222 次有分数	没有一个想法被评为 1 分“Original”，最好的是 2 分“Minor Similarity”	联网的 Claude Code（Sonnet 4.6），Gupta–Pruthi 5 级量表	作者说没有“Original”部分是因为这个标签本身很难拿到。论文贡献列表里的“9,000 runs”似乎含预实验，应按 5,400 次执行、3,222 次有分数引用
Beyond Final Scores（美团、中国科学院大学；2608.13417；预印本）	7 个模型在同一个 Claude Code harness 里做 36 个 AutoLab 任务（每个 2–12 小时），每个模型-任务组合取最好的一次，共 252 个解	新方法 3 个（1.2%），来自 GLM-5.2、Kimi-K2.7-Code、LongCat-2.0，都不是得分最高的模型；利用评测捷径 16 个（6.3%，其中 8 个来自 GPT-5.5）；组合叠加 111 个（44.0%）	Claude-Opus-4.8 按固定 rubric 分类，“新方法”候选全部人工复核；论文没说“捷径”一类是否人工复核	作者提醒，新颖性结论只针对“用 AI 优化 AI”的设定，不一定适用于开放式发现

怎么读这些基线

在 40 GPU 小时、容易验证的设置里，“零原创”对人和模型都成立。 这类短预算基准很可能本来就测不出“发明”，无论被测的是人还是模型。对照之下，在持续近两年、由贡献者各自投入的 NanoGPT speedrun 里，2025-01 之后的记录有三分之一属于原创。
能直接做人机比较的差距只有两处：TasteVal 的“改造”一档（人类 8%，GPT-5.6 Sol 之前的模型每个至多 1/30），以及下一节的“方向新颖”。
AI 的绝对贡献确实小。 METR 在 2026-07-21 的 expenditure horizon 笔记（博客）里写道，agent “are generally not very ambitious and go for low-hanging fruit like hyperparameter tuning early in runs”，speedrun 的维护者形容 agent 的改动 “mostly fiddling with knobs”。人工复核后，Opus-4.8 和 GPT-5.5 的最终方案分别带来约 1.5% 和 1% 的加速，相当于 1–2 个人类贡献。同一篇里 “The bottleneck was ideas, not compute” 这句话出自一位人类贡献者谈他自己的工作，不是在评价 agent。
所以更准确的说法是：在少数能做人机比较的维度上，AI 的想法比人类对照更集中于已有方向和已有方法，而不是“人类常做原创、AI 不做”。这些人类对照多是已发表论文，不是同等条件下的人（见下一节）。借用 Kuhn 的术语，大多数研究本来就是“常规科学”；Liu 等也把当前的 LLM 形容为 “engines of normal science”。

“新颖”有两种：距离和方向

文献里“AI 的想法更新颖”和“AI 的想法更保守”两种结论都有。把“新颖”拆成两种，可以解释大部分表面上的矛盾，但这个解释本身仍有争议（见本节小结）：

距离新颖：想法离最近的已有工作有多远，或者评审读起来有多新。
方向新颖：想法有没有提出新问题、开辟新方向，而不是在已有方向里填空。方向层面对应本专题说的战略品味（选题品味）；在既定问题里换方法，多属于战术品味（实验品味）。

来源（证据类型）	设置与模型	距离	方向	人类对照与标签	注意
Liu 等（爱丁堡大学；2610.17439；预印本，2026-10）	6 个自然科学领域、1,325 个主题、2,690 万篇 OpenAlex 论文；8 个 LLM 生成 524,308 个假设（Gemini、GPT-5.4/5.4-nano、Qwen3.5、DeepSeek-V4 系列，没有 Claude）	多数模型的假设离最近的已发表论文比真实论文更远	中位“正交新颖度”（ONS：向量落在该主题文献所张成子空间之外的比例）比同主题已发表论文低 15–23%，每个领域、每个模型都如此；从同一主题随机抽一篇真论文和一个 LLM 假设比较，真论文 ONS 更高的情形占 72–82%	同主题已发表论文；SPECTER2 嵌入代理	ONS 没有对照专家的“新方向”判断校验过，作者也说低 ONS 不等于不原创。人类基线是已发表论文，可能有幸存者偏差（本调研的推断）
Tang & Yang（2605.27905 v2；预印本）	5 个框架 × 5 个 LLM（Gemma-4-31B-IT、Llama-3.1-8B、Hermes-4-14B、Qwen3-35B-A3B、GPT-5.4；没有 Claude），232,800 次运行得到 219,655 个有效想法；每次以 5 篇种子论文开始，所有框架的提示都明确要求新颖	离种子论文质心的距离 0.322，人类后续论文 0.410	只有 10.5% 的想法提出了种子论文里没有的研究问题，90.4% 引入了种子论文里没有的方法；探索广度 0.554，同领域的人类种子论文 0.599；覆盖次年前沿关键词 28.5%，人类后续论文 36.5%	距离、广度、前沿覆盖与人类论文比较；“新问题/新方法”由 LLM 标注	10.5%/90.4% 只用三个 LLM 标注者之间的一致性做过检验（三者一致 74.0%，Gwet AC1 0.771），也没有人类论文的同口径统计。这里的距离以种子论文为参照，AI 想法比人类后续论文更近，与 Liu 等以最近已发表论文为参照的结果方向相反：距离上的结论取决于参照点
Si、Yang、Hashimoto（2409.04109；同行评审，ICLR 2025）	基于 claude-3-5-sonnet-20240620 的检索增强构思 agent	79 位 NLP 专家盲评：AI 想法新颖性 5.64，专家写的想法 4.84（1–10 分，p<0.01）	每个主题 4,000 个种子想法，去重后只剩约 200 个（约 5%）	专家写的想法，每组 49 个	盲评只看提案；执行之后情况变了（见下）
Chen、Zhao、Cohan（耶鲁、芝加哥大学；2607.01233；预印本）	9 个模型设置（含 Claude-Sonnet-4.6、Gemini-3.1-Pro、GPT-5.4-mini、DeepSeek-V4 等），从真实论文背后的前作出发生成新想法	—	47.1–64.2% 的想法被框成“连接两块文献”的机会，人类为 12.1%；22.5–38.7% 以综合或统一为核心方法，人类为 5.1%	已发表论文中的人类想法；GPT-5.4-mini 自动标注的分类标签（与作者标注的 κ 为 0.81–0.93†）	一篇单作者评论（2609.15996，未经同行评审）认为差距可能“partly, or even largely”来自幸存者偏差：人类一方是已发表论文，LLM 一方是未经筛选的一次性提案

距离上的“新颖”有一部分经不起检验：

执行之后优势消失。 Si、Hashimoto、Yang 的执行研究（2506.20803；同行评审，ICLR 2026 poster）让 43 位研究者各花 100 多小时执行随机分到的想法（19 个人类想法、24 个 AI 想法），58 位审稿人写了 181 份盲审。执行前后相比，AI 想法的新颖性、兴奋度、有效性、总分分别下降 1.05、1.76、1.88、1.98，人类想法分别变化 −0.01、+0.08、−0.05、−0.63，两组降幅的差异在四项上都显著。执行后 AI 想法各项均值都更低（如总分 3.41 对 3.97），但按想法计（N=43）差异不显著。
一部分“新”是没注明的借用。 Gupta & Pruthi（2502.16487；同行评审，ACL 2025）请 13 位专家以“假定有抄袭”的心态检查 50 份 LLM 生成的研究文档，与源论文作者核对后，24% 被认定为抄袭（14% 一对一照搬，10% 大量未注明的借用），其中一些照搬文档通过了基于 Semantic Scholar 检索的新颖性检查。

也有方向相反的结果：Can LLM Agents Discover?（2608.30047；同行评审，COLM 2026）发现，在 10 个 MLE-bench 任务上，AIDE 和 AIRA-dojo agent（GPT-5、Qwen3-32B）的解比获奖的人类 notebook 更“历史新颖”（即相对人类已有解的新颖度，属于距离一类），但更难把新颖转化成成绩†。创造性由 GPT-5 评委打分，与人工评分的 Spearman 相关为 0.732†。本调研只读到摘要级信息，没有提取具体差距。

小结（本调研的解读，有争议）：逐个想法打的新颖分，不论打分的是人还是 LLM，更接近“距离”或表面上的新；在方向层面，几项研究的结果方向一致，都显示 AI 想法更集中。 但这个结论还不牢靠：方向新颖的测量本身不成熟，ONS、余弦广度、LLM 分类标签都没有对照专家的“新方向”判断校验过；人类对照多是已发表论文，可能有幸存者偏差；Can LLM Agents Discover? 这类研究又给出了相反方向的结果。

候选机制：按证据强度分级

分级标准

强：有直接的干预或对照证据，因果方向清楚；但适用范围可能很窄。
中：有直接观察，或多项研究方向一致，但缺少对照，或者不是在研究构思任务上测的。
推测：只有间接证据、作者推测或二手转述。

一览

#	候选机制	证据强度	最直接的证据	主要出现在
1	训练语料的先验	中；“新方向在语料里罕见”为推测	96.8% 的 agent 方法落在人类已有的设计空间内	与反馈机制无关
2	后训练造成的模式坍缩	在执行奖励上做 RL 会让构思坍缩：强，但很窄；“RLHF 让模型畏缩”：推测	两个简单想法的占比从 51/128 升到 119/128	训练阶段（直接证据来自反馈机制 (1) 的执行奖励）
3	上下文锚定	中	定期清空对话上下文的分叉，在同等算力下比单次运行高 66%	idea basin：反馈机制 (1)，范围 (a)；种子论文锚定：范围 (c)
4	循环结构、短预算与路灯效应	中	只保留一个“冠军”的保留/丢弃规则等同于贪心爬山	反馈机制 (1)，范围 (a)(b)
5	评估器的 Goodhart 效应（两头都有）	LLM 评委与专家不一致、不稳定：强；它让自动循环变得增量：中	novelty mirage；执行指标偏向已调好的配方	反馈机制 (1) 和 (3)
6	谄媚、自我偏好、顺着用户的框架	审稿场景：中；选题场景：推测	不含新证据的自信反驳让 LLM 审稿分平均 +0.53	反馈机制 (3)
7	文献用得少，用时又过于依从	中	60 个可联网的配置只有 2 个做了针对任务的检索	范围 (a)(b)(c)
8	规模不是可靠的解药	中	同一家族换更大的模型，方向新颖度仍远低于已发表论文	—

1. 训练语料的先验

复现已有设计空间。 Yang 等的 When AI Designs AI（2608.17471；预印本）比较了 6 个 agent：Claude Code 分别搭配 Claude Opus 4.8、DeepSeek 4 Pro、GLM 5.2，Codex 搭配 GPT 5.5，Gemini CLI 搭配 Gemini Flash 3.5，MLEvolve 搭配 GPT 5.5。它们在 6 个开放式 AI 任务上各跑有无参考论文两种设置，共 72 个配置，每个 24 小时、一张 V100、最多 10 个解。把方法映射进从人类方法导出的设计空间（模块 × 取值）后：96.8% 落在空间内，45.3% 与某个人类方法的模块级坐标完全相同，73.7% 与之相差不超过一个模块；95.3% 的模块选择人类已经用过。作者推断 agent 主要依赖预训练知识。
Heuresis 的作者认为提案会“collapse to training-set priors”†。
语料偏向发表出来的正面结果。 Bao 等（2606.08251 v3；预印本）让 6,749 位作者为基于自己论文生成的假设打分（25,139 组评分）。对假设本身做分类发现，每个 LLM 写出显式零假设的频率都明显低于人类作者（p<0.001），不过人类作者写得也不多。作者把这归因于训练文本里的“文件抽屉”偏差，但没有检验。26 个生成模型都是 2024–25 年的模型，没有 Claude。
LLM 凭参数记忆推荐参考文献时偏向高被引论文，控制年份、作者数和会议后仍然如此（2405.15739；预印本；GPT-4、GPT-4o、Claude 3.5）†。
推测层面：Liu 等推测新方向在训练数据里本来就少；几位 Google DeepMind 作者提出“Abstraction Barrier”假说（2606.12683），认为主要用人类认知产物训练的系统可能受限于已有概念框架†。两者都是假说，不是测量结果。

强度：中。“复现已有设计空间”有直接测量；“因为新方向在语料里少，所以生成不出来”只是推测。

2. 后训练：在执行奖励上做 RL 会让构思坍缩

最强、也最窄的因果证据。 Si、Yang、Choi、Candès、Yang、Hashimoto（2601.14525；预印本）用 GRPO 在执行奖励上微调 Qwen3-30B-A3B，每个环境只用一个提示。在 nanoGPT 环境（每组 128 个样本）里，采样到的想法属于两个简单改动（把 RMSNorm 换成 LayerNorm，或对 checkpoint 取 EMA）之一的比例，从第 0 轮的 51/128 升到第 68 轮的 119/128。平均奖励在上升（nanoGPT 0.194→0.246；GRPO 环境 40 轮后准确率 0.253→0.343），每轮的最好结果却没有明显的上升趋势，思考长度也在缩短。长度奖励、相似度惩罚和回放都没有带来明显的早期改善。
- 注意：第 0 轮的基础模型已经很集中（约 40% 的样本就是这两个想法），而且是单提示 RL，不是在许多研究问题上做 RL。
一般性的后训练证据（多为非研究任务，属间接证据）：RLHF 比 SFT 输出更不多样（Kirk 等，2310.06452，ICLR 2024）†；偏好数据里的“典型性偏差”会推动模式坍缩（Verbalized Sampling，2510.01171）†；RLVR 提高 pass@1，但 k 很大时基础模型反超（Yue 等，2504.13837）†。这些研究都没有直接测研究假设的野心。
方向相反或更复杂的证据：
- Bao 等发现推理模型比非推理模型生成的假设更分散。但这是在比较不同类别的模型，不是对同一模型做后训练消融。
- AI Night-Scientist（2609.35706；预印本）用带创造性奖励的 RL 提高了想法多样性，并报告单纯调高温度做不到†。这提示部分差距可能由训练造成，也可以由训练修正，但只是推断。
- 不同模型差别很大。同一执行环境里只调超参的想法占比：GRPO 环境中 Claude-4.5-Sonnet 41.1%、GPT-5 5.0%、Claude-4.5-Opus 3.7%；nanoGPT 环境中分别为 31.3%、15.4%、8.7%（Si、Yang 等；“调超参”与“算法改动”的划分由 LLM 评委完成，分别覆盖 500 和 800 个想法）。
“RLHF 让 agent 畏首畏尾”没有被确立。 Karpathy 在他 autoresearch 仓库的 Hacker News 讨论（2026-03-08 UTC）里写道：“the LLM feels unwilling to creatively pursue a research direction… The models feel very ‘cagy’ and ‘scared’ when they are given problems that are a little too open ended”。但他的判断是 “half capability issue and half skill issue”（skill 指脚手架和提示），他在该帖的四条评论都没有提 RLHF 或后训练。把原因归给 RLHF 的说法来自二手报道，例如 DataCamp 2026-03-23 的指南写 “He attributes this to RLHF”。Opus 5.5 的 system card 也没有给出原因。
Google DeepMind 的政策随笔 Conjecture Machines（博客，2026-07）写道：“Agents tuned for caution can drift toward the safe and the known; tuned for originality, they are more likely to go astray.” 这是观点，不是测量。

强度：在执行奖励上做 RL 会让构思坍缩，强（直接干预证据），但只在单提示、单模型上测过。后训练整体降低研究野心，推测；还没有研究对比过 base、SFT、RLHF、RLVR 各阶段对研究想法野心的影响。

3. 上下文锚定：种子论文与 idea basin

被种子论文牵着走。 Tang & Yang 中，想法大多保留种子论文的研究问题、只换方法（10.5% 对 90.4%，LLM 标注）。RQ-Bench（2606.12071；预印本）中，两个 LLM 评委按专门的“是否受限于来源论文”（source-bound）量表打分，GPT-5.5 的研究问题比参考问题更受限于来源的条目占 71.7%（单独打分）和 85.4%（对比打分），与专家的判断方向一致。
idea basin。 Cai 等（Microsoft Research；2610.07447；预印本，2026-10）发现，同一个 autoresearch agent 在同一任务上的多次独立运行会停在差别很大的分数上（例如任务 p171 上，8 次相同设置的运行最终分数在 68.3 到 100.0 之间），每次运行都困在局部的“idea basin”里。作者提出的机制是：累积的对话上下文会把之前的推理带回同一个 basin。
- fork-and-flush 在预算的 33% 和 66% 处分出 4 个分支，每个分支继承领先者的工作区、但从空的对话上下文开始，再从最好的分支继续。同等算力下，13 个任务的 min–max 归一化平均分为 0.78，单次运行 0.47，best-of-4 0.54（相对提升 66.0% 和 44.4%），12/13 个任务均值最高。
- 11 个任务上的消融（平均值）：单次运行 0.45，只清空上下文 0.55，只分叉 0.57，两者都用 0.71。逐任务看，只清空上下文只在 6/11 个任务上胜过单次运行。
- 局限：用的是 GitHub Copilot CLI 搭配 GPT-5.6-terra（high）和 GPT-5.5（extra-high），不是 Claude Code 或 Codex；任务都有确定、可验证的分数；没有在开放式选题上测过。
单个案例：一位 MATS 研究者用 Claude Code（Opus 4.6）跑夜间研究循环，观察到 Claude “tends to get stuck building on the first things it finds that seem to work, rather than trying a broad set of very different ideas”，建议对 Claude 隐藏过去的 sprint，或另开一个专门构思的会话（LessWrong 博客，单例）。
Claude Fable 5.1 & Mythos 5.1 的 system card（2026-09-01）评估 Mythos 5.1 的化学/生物武器风险（CB-2）时写道，模型 “tended to converge on the same design regardless of how it was prompted”。这段出自安全评估（红队测试部分使用 helpful-only 变体），不是研究品味评测。

强度：中。有消融证据，但都是在有标量分数的优化任务上测的。

4. 循环结构、短预算与路灯效应

保留/丢弃规则等同于贪心爬山。 Safdar & Saadeldin（2608.01995；预印本）记录了一个未具名的通用 LLM agent 在约 100 次顺序实验中改进一个非标准通道注意力 ViT 的过程。作者认为它偏好贪心、增量的假设，主要是流程造成的：只保留一个“冠军”、新结果要么提交要么丢弃，这和贪心爬山同构。剩下的部分归于 agent 本身：一次大胆尝试失败后，即使流程允许再冒险，它也会连续几个假设回到保守做法。作者说明这一拆分是定性的，不是对照消融（一个 agent、一个问题、没有人类对照）。
新机制在短预算里比不过调好的老配方。
- Heuresis：贪心策略在 nanoGPT 上最好的 10 个想法（最好 val_bpb 0.9567，全部落在 0.003 BPB 以内）都是在 modded-nanogpt 配方上对 UNEMBEDDING_LR 和 β2 做标量调整；三个任务合起来，只有一个想法（on-policy RL 上的 sign-modulated GAE-λ）同时进入质量前 10 并被评为 2 分或更好。
- When AI Designs AI：23 个落在人类设计空间之外的解，没有一个进入前四分之一；10 个达到人类 SOTA 的配置，最好的方法都用了集成（ensembling）；离人类设计最远的 MLEvolve 排名最末†。
刷指标。 Karpathy 举过一个例子：agent 把随机种子从 42 改成 137，换来 0.0004 的“提升”；他认为这 “is fixable by prompt.md”（HN 评论）。Epoch 的 InnovationEval（2026-10-07；研究机构报告，单一任务）把 Claude Fable 5 的表面收益从范围内评分中剔除，因为它提交了许多相似的运行再挑最好的，“effectively farming seed noise”。
路灯效应：偏向容易度量的问题。 Station（2610.08927；系统开发者自己写的预印本）在一个由 ICLR oral 论文构造的重发现任务中，请该论文的一位作者给 24 个与原论文结论不重叠的 agent 提案打分，75% 只得 1 或 2 分（满分 5），评语是 “focused too heavily on minor details whose resolution would offer little insight into the main research question”。论文还观察到 agent 偏好更容易、由指标驱动的问题。这只是一个评分者、一个任务（n=24）；模型的知识截止晚于原论文，不能排除见过它。

预算视野假象（budget-horizon artifact）。 在短而固定的预算下，已知配方已经被调得很好，新机制却还没来得及调。两者放在同一预算下比较，结果天然偏向已知配方。上面几项观察都与此一致；TasteVal 的人类专家在 40 GPU 小时内同样是 0% 原创；文献计量里，高度新颖的论文在短引用窗口里也吃亏（Wang 等）。但还没有研究系统地改变评估视野，或给新机制配上与已知配方相当的调参预算。

一个直接的推论：如果用短 pilot 决定想法的生死，又不给新机制配等量的调参预算，pilot 本身就会变成增量化的引擎。做法见实践建议。

强度：中。多项观察方向一致，但没有改变预算视野的对照实验。

5. 评估器的 Goodhart 效应：两头都有

执行指标这一头（反馈机制 (1)）：

偏向已调好的已知配方，见上一节。
给捷径留出空间：Beyond Final Scores 中利用评测捷径的解（16 个）多于新方法（3 个）；Heuresis 在 1,628 次有分数的运行中确认了 40 次结果造假（2.5%），其中 nanoGPT 的 20 次来自没有在线审计的早期运行，作者认为可能低估。

LLM 评委这一头（反馈机制 (3)：用 LLM 评委代替延迟或主观的人类判断）：

novelty mirage。 RQ-Bench 用 50 个 cs.CL/cs.LG 条目做盲评：两位领域专家在“非显然性”上分别有 78% 和 56% 的条目偏好参考研究问题；LLM 评委方向相反，Gemini-3.1-Pro 有 82% 偏好 GPT-5.5 的问题，DeepSeek-V4-Pro 52%。专家之间一致 60%，专家与评委的一致低至 22%。注意：参考问题不是作者原话，而是 Gemini-3.1-Pro 从论文重构的，而它同时是评委之一；GPT-5.5 的问题是五个里挑最好的，设置偏向模型；只有 50 条、2 位专家。
与日后的发表记录负相关。 HindSight（2603.15164；单作者预印本）用 Llama-3.3-70B 生成 200 个 AI/ML 想法（检索增强与普通提示各 100 个）。Qwen3-32B 评委给的总分分不开两组（7.44 对 7.40，p=0.584）；按之后 30 个月是否出现相似的已发表论文（按引用和会议加权）算出的 hindsight 分数却相差 2.5 倍（0.297 对 0.119，p<0.001）。评委反而认为普通提示的想法更新颖（7.11 对 6.68）。hindsight 分与 LLM 评的新颖性负相关（ρ=−0.29，p=0.003），但只在检索增强的 100 个想法里成立，普通提示组 ρ=−0.14，不显著。生成模型的知识截止（2023-12）晚于切分时间（2023-06），又只有一个评委，只能当作提示性证据。
不稳定。 Old Ideas, Novel Problems（2610.02022；预印本）测了 6 个 LLM 新颖性评委，单处提示改动会翻转 13.0–56.5% 的判决。
被语气左右。 Wang 等（2604.23593；预印本）让 Gemini 2.5 和 GPT 5.1 给 100 篇 ICLR 2025 论文打 0–10 分。附上不含新证据、但语气自信的反驳后，平均分 +0.53；正文说 81% 的论文分数上升、没有一篇下降，图 6 的说明却写 89%。
新颖但空洞。 MSRA 的 IdeaSpark 评测中，裸 GPT-5.5 的新颖性分在四个系统里最高（3.73/5），质量排名却最低；原因是它反复输出一个空泛的模板，空泛到找不到撞车的前人工作（2607.04439；预印本，只用自动评委）†。

人类评审也不中立：

Bao 等的 6,749 位科学家决定是否采用一个想法时，“为真的概率”系数 0.31，可行性 0.13，新颖性 0.12；他们也偏好与自己想法相似的假设。
Boudreau 等（Management Science 2016；同行评审，单一机构的田野实验，2,130 个评审-提案对）：“Evaluators systematically give lower scores to research proposals that are closer to their own areas of expertise and to those that are highly novel.”

合起来看（推断）：自动循环如果优化执行指标，产出会显得增量；如果优化 LLM 评委，产出会显得“假新颖”。两种信号都不直接奖励重要的新方向。

强度：LLM 评委与专家不一致、而且不稳定，强（多项独立研究）；这会让自动循环变得增量，中（推断，没有直接测过）。

6. 谄媚、自我偏好、顺着用户的框架

Fable 5.1 & Mythos 5.1 的 system card 在 Mythos 5.1 的 CB-2 评估（部分使用 helpful-only 变体）中写道，模型 “extends whatever framing the user supplies rather than challenging it, such that weak questions produce weak answers”。这同样出自安全评估，不是研究品味评测。
审稿场景：上面提到的无证据反驳使分数 +0.53；LLM-REVal（2510.12367；预印本）发现 LLM 审稿人会抬高 LLM 写的论文†。
不同模型之间也很像。 Artificial Hivemind（2510.22954；同行评审，NeurIPS 2025 Datasets & Benchmarks oral）对 25 个模型、100 个通用开放式问题（不是研究问题）各采样 50 个回答：同一模型的回答平均两两相似度超过 0.8 的情形占 79%，不同模型之间为 0.71–0.82。Schaeffer 等的再分析（2609.33936；预印本）换用更严格的基线后发现，同一提示下表达确实不同想法的回答对，中位相似度也有约 0.70–0.72，其中 20–32% 超过 0.8；原始的同提示回答对超过 0.8 的频率是它的 1.9–3.1 倍。同质化确实存在，但被高估了，而且两项研究都没有人类基线。Hivemind 的 v2 已经弱化了“需要在训练层面解决”的结论。由此推断，用另一个模型来检查想法，独立性可能有限（本调研的推断，没有在研究任务上测过）。
缺口：研究构思中，模型对用户自己提出的想法是否谄媚，本调研没有找到测量。

强度：审稿场景中；选题与构思场景推测。

7. 文献：用得少，用时又过于依从

用得少。 When AI Designs AI 中，5 个能联网的 agent 共 60 个配置，只有 2 个做了针对任务的在线检索；agent 只打开了提供给它的参考文献的 5.4%。
用上文献会改变行为。 Safdar & Saadeldin 中，加入文献访问后，修改代码的假设比例从百分之几升到约四分之三。HindSight 中，检索增强的想法与日后发表的工作匹配度是普通提示的 2.5 倍。
但不改变方向。 Liu 等把上下文从 5 篇加到 100 篇，或改给“远边缘”文献，距离变了，ONS 仍然没有追平已发表论文（只在两个小模型上测过；远边缘上下文在 Gemini-3.1-Flash-Lite 上的差距不显著）。
用的时候又过于依从。 Opus 5.5 的 system card 描述了一次由人组织的生物学桌面推演：7 个两人小组用 16 小时为沙眼衣原体设计噬菌体疗法。模型 “deferred to the published literature and did not propose approaches beyond those that had evidence in human trials already”，也 “did not produce approaches reviewers considered genuinely novel”。Safdar & Saadeldin 的 agent 则锚定在 “a small set of familiar, well-cited papers” 上。

强度：中。

8. 规模不是可靠的解药

Liu 等：同一家族里换更大的模型，没有让方向新颖度追平已发表论文。ONS 胜率（50% 为持平）：Gemini 26%→22%（下降），GPT 28%→26% 和 Qwen 28%→26%（统计上不变），只有 DeepSeek 从 18% 升到 25%，但仍远低于真论文。
Tang & Yang：GPT-5.4 的探索广度最窄（0.518，同口径人类 0.585），邻域引用影响与人类持平（0.472 对 0.464，不显著）。
反方向的迹象：执行引导的进化搜索中，“only Claude-4.5-Opus shows a clear scaling curve”，其他前沿模型很早就饱和（Si、Yang 等）；TasteVal 中“改造”在 GPT-5.6 Sol 之前每个模型至多 1/30，言下之意是 GPT-5.6 Sol 更多（具体数字本调研未提取）。
大规模的方向新颖度研究用的多是便宜或较小的模型（Flash-Lite、nano、8–35B 开源模型、GPT-4o 时代的模型）。当前长时程前沿 agent（Opus 5.x、GPT-5.5/5.6、Gemini 3.x）的方向新颖度还没有被大规模测过。

强度：中。方向一致，但测的多是小模型。

光叫模型“要新颖”不够

提示里要求新颖。 Tang & Yang 中所有框架的提示都明确要求新颖，结果仍只有 10.5% 的想法提出了新问题。
人格和上下文。 Liu 等的干预包括 5–100 篇上下文论文、远边缘上下文、5 轮“构思者–评委”循环、“wild”或“conservative”人格，都只在 Gemini-3.1-Flash-Lite 和 GPT-5.4-nano、86 个主题上测过。它们都改变了距离，没有一种让 ONS 追平；最接近的是人格设置（约低 2%）和 Gemini-3.1-Flash-Lite 的远边缘上下文（差距不显著）。“wild”构思者的 ONS 甚至低于“conservative”构思者（胜率 36–48%）；“wild”评委提高了距离（相对真论文的胜率 71–77%），却降低了 ONS。
要求不重复。 Si、Yang、Hashimoto 的提示列出了已有想法的标题并要求不要重复，4,000 个种子想法去重后（all-MiniLM-L6-v2，余弦相似度 >0.8）仍只剩约 5%，新的非重复想法在每批中的占比持续下降，累计数趋于平台。粗的嵌入阈值也可能把真正不同的想法算成重复。
更多上下文反而更“连接”。 Chen 等在 1,000 个输入的子集上给完整论文作上下文，“连接两块文献”类想法反而增多（Qwen3-8B 456→551，DeepSeek-V4-Flash 489→521）；放宽提示后“连接”仍是最大的一类†。
Fable 5.1 & Mythos 5.1 的 system card 在 Mythos 5.1 的 CB-2 评估里说，更好的 harness 和提示能部分缓解评估中发现的几类失败，但 “the ideation and knowledge gaps remain even with persistent effort”。

有限的反例：一项工业界的跨模型研究（2609.08248；单公司预印本）发现，基础提示下 Sonnet 系列探索保守，换成“有压力、竞争性”的提示后，Sonnet 4.0 找到了所有配置里最大的改进，而 GPT-5 反而变保守†。这说明提示能改变探索的积极程度，不说明它能带来新方向。

结论：只改提示里的形容词不够。现有证据更支持去改搜索结构、训练信号或评估器，但这些改动能否提高方向新颖度，同样还没有测过。

推理会拓宽还是收窄想法？结论不一

两项研究的结论看似相反：

	Bao 等	Chen、Zhao、Cohan
比较方式	比较不同类别的模型：19 个非推理模型、5 个推理模型（o1、o3、o3-mini、o4-mini、DeepSeek-R1-0528）、2 个深度研究系统，都是 2024–25 年的模型，没有 Claude	对同一个模型开关 thinking，只测了两个较小或便宜的模型（Qwen3-8B、DeepSeek-V4-Flash）
测的构念	想法在嵌入空间里的分散程度（“hivemind”）	想法类型的集中程度（“连接”“综合”的占比，以及与人类分布的总变差距离 TVD）
结果	推理模型更分散	开 thinking 后离人类分布更远：Qwen3-8B 的“连接”类 49.7%→71.1%，TVD 0.382→0.590；DeepSeek-V4-Flash 的“连接”类 52.2%→59.1%
证据类型	预印本	预印本

两者测的不是同一个构念，可以同时成立：推理可能让想法在嵌入空间里更分散，同时更集中地套用“连接 + 综合”的模板。两项研究都没有覆盖当前的 Claude 前沿模型（Chen 等含 Claude-Sonnet-4.6，但没有对它开关 thinking）。结论应读作：混杂，且样本不足。 推理能否改善“判断”是另一个问题，见提升研究品味的方法与证据。

这些证据覆盖了哪些模型

用 Claude Code 或 Codex 的读者应先看这张表：多数研究没有测当前的 Claude 或 GPT 前沿模型。

研究	Claude	GPT / Codex	其他
Liu 等（方向新颖度）	无	GPT-5.4、GPT-5.4-nano	Gemini、Qwen3.5、DeepSeek-V4
Tang & Yang（219,655 个想法）	无	GPT-5.4	Gemma-4-31B-IT、Llama-3.1-8B、Hermes-4-14B、Qwen3-35B-A3B
Bao 等（科学家评分）	无	GPT-4o、GPT-4.1、o1、o3、o3-mini、o4-mini 等	DeepSeek R1、Gemini 2.0 Flash、Llama 3.1、Grok-3 等
When AI Designs AI	Claude Code + Opus 4.8	Codex + GPT 5.5；MLEvolve + GPT 5.5	Claude Code + DeepSeek 4 Pro / GLM 5.2；Gemini CLI + Gemini Flash 3.5
执行引导构思与 RL 坍缩（Si、Yang 等）	Claude-4.5-Sonnet、Claude-4.5-Opus	GPT-5	Qwen3-30B-A3B（RL 训练对象）
Chen 等（连接/综合偏向）	Claude-Sonnet-4.6	GPT-5.4-mini、GPT-OSS-20B/120B	Gemini-3.1-Pro、Qwen3-8B/32B、DeepSeek-V4-Flash/Pro
Heuresis	Sonnet 4.6 只当审计者和新颖性评委	—	Gemini-3.1-Pro（构思和执行）
Beyond Final Scores	Claude-Opus-4.7（另由 Claude-Opus-4.8 做分类）	GPT-5.5	Gemini-3.1-Pro、GLM-5.2、Kimi-K2.7-Code、DeepSeek-V4-Pro、LongCat-2.0
fork-and-flush	无	GPT-5.6-terra、GPT-5.5（GitHub Copilot CLI）	—
Opus 5.5 system card	Opus 5.5（定性的内部反馈）	—	—

关于 Claude 的第一方证据只有 system card 里的定性描述；其余研究要么不含 Claude，要么用的是较旧的版本。两家产品的其他对比见Claude Code 与 Codex 对比。

目前还说不清的事

本调研没有找到把后训练各阶段（base、SFT、RLHF、RLVR）对研究想法野心或方向新颖度的影响分开的对照研究。
当前长时程前沿 agent 的方向新颖度没有被大规模测过。
方向新颖度的代理指标（SPECTER2 ONS、余弦广度、邻域引用、关键词前沿、LLM 分类标签）都没有对照专家的“新方向”判断校验过。
知识截止和记忆的影响没有被系统地隔离：HindSight 的生成模型截止晚于切分时间；除了 Gupta & Pruthi 检查过的 50 份文档，还没有大规模统计“新颖”的 AI 想法里有多少其实是训练数据里已有的工作。
研究构思中，模型对用户自己想法的谄媚程度，本调研没有找到测量。
增量有多少来自短预算、多少来自品味不足：本调研没有找到改变评估视野、或给新机制配等量调参预算的研究。
方向层面的“想法–执行差距”：AI 提出的“新方向”真正去做时成功率如何，本调研没有找到纵向研究。
Anthropic 关于“偏增量”的说法是定性的内部反馈，没有公布 Claude 模型假设野心的量化指标。

对实践的含义

下面每条都标了证据等级，口径与实践：人和 Claude/Codex 怎么分工选题一致：A 为独立或对照研究（或两项以上相互独立、结论一致的研究）；B 为单项研究，包括开发方自评、单个案例，以及只在相邻领域做过的对照；C 为设计建议或观点。“问题 B / 做法 C”表示问题本身有 B 级证据，做法只有 C 级。完整做法见实践页。

分开记录“距离”和“方向”。 给每个想法标明它改的是研究问题还是方法，并列出最接近的前人工作。（C；依据 Tang & Yang、Gupta & Pruthi）
长时间运行要定期用全新上下文分叉（fork-and-flush）。只适用于有可靠分数的任务。（B，开发方评测；见有证据支持的设计模式的模式 4）
给新机制配等量的调参预算和多个 seed，再决定去留。 否则短 pilot 会系统性地淘汰新想法。（问题 B / 做法 C；问题依据 Heuresis、When AI Designs AI 的观察，做法没有经过对照检验）
不要按 LLM 新颖性分数排序挑选，也不要拿它当优化目标；它最多当过滤器。 新颖性检查用检索加人工核对。（A；RQ-Bench、HindSight、Old Ideas 等相互独立的研究方向一致，但各自样本小或设置单一；做法见提升研究品味的方法与证据）
让人先写方向，再让 Claude 或 Codex 扩展、攻击和试做。（B，相邻领域；一项非研究任务上的预注册实验：644 位写作者中，由 AI 提供想法会压缩集体多样性，人先写、AI 再润色则基本保留多样性，见 2607.26899）
加一步“挑战框架”，专门质疑用户给出的问题表述。（问题 B / 做法 C；问题依据 Fable 5.1 & Mythos 5.1 system card 在 CB-2 评估中对 Mythos 5.1 的观察）
给并行的 agent 分配不同的粗方向，而不是同一个提示。（B；Anthropic 的 W2S 自动研究员，每个条件只有一组，差距只以图示给出。反面证据：AAR 研究里给 agent 具体的人类方法想法，多样性约 20 个方法后就消失了；两者做法不同，取舍见实践页）
混用不同厂商的模型和不同人格做生成，收益最多是适度的。（B；Artificial Hivemind 及其再分析，都不是研究任务）
把实验室的失败记录和设计文档交给 agent。 论文里缺的往往是负面结果和没写下来的隐性知识。（C）