实践：人和 Claude/Codex 怎么分工选题

时效说明

本页内容截至 2026-10-15。研究品味方向的不少来源发布不足 30 天、尚未经过同行评审；模型名照原始来源的写法。证据类型的含义见调研方法与证据分级。

这是一套默认做法，不是验证过的流程

本页的建议由本调研根据现有证据综合而成，没有做过端到端测试。本调研没有找到在同等预算下比较“人选题、AI 执行”和“AI 自己选题”的研究（AAR 研究比较过“人给方法想法”和“agent 自主”，但问题是事先给定的，见建议 8），也没有找到测过整套流程的研究。每条建议都标了证据等级，冲突之处单独列出。建议只针对 AI/ML 研究，适用范围见页末。

怎么读这一页

证据等级

等级	含义	例子
A 独立或对照研究	至少一项由独立团队完成的对照实验（有对照组或消融），或两项以上相互独立、结论一致的研究	Gupta & Pruthi 的抄袭检测实验；多项研究都发现 LLM 的新颖性判断不稳定
B 单项研究	只有一项研究支持，且不满足 A 的条件：开发方自评、单个案例、没有对照的观察，或者对照实验只在相邻领域做过	W2S 的“分配方向 / 不分配方向”对比（一个任务、每个条件一个团队）；创意写作中的“人先想”
C 设计建议或专家意见	没有直接测量；来自工具的默认设置、研究者的经验文章，或本调研的综合	预测日志、配平调参预算、高上行空间位置

两条附加规则：

1. 对照实验只在非科研任务（创意写作、头脑风暴）上做过的，最多给 B，并注明“相邻领域”。
2. “这个问题存在”和“这个做法能解决它”分开评级。很多建议针对的问题有 A 或 B 级证据，做法本身只有 C 级，表中写成“问题 B / 做法 C”。

两条坐标轴

本专题用两条轴给证据定位。概念见什么是研究品味：一个分层框架，逐格的证据见证据地图，成功案例的共同条件和例外见条件、例外与边界。

• 反馈机制：(1) 外部给定、便宜的客观指标；(2) 指标被隐去或需要自己构造；(3) 延迟或主观的评价。
• 范围：(a) 问题内的下一步；(b) 实验设计与证据门槛；(c) 选题与方向。

本页的分工可以概括成一句话：越接近 (1)×(a)，越适合交给 Claude/Codex；越接近 (3)×(c)，越需要人负责，同时要防范人自己的偏差。用本专题的术语说，(c) 主要靠战略品味（选题品味）；(a) 和 (b) 里的实验设计主要靠战术品味（实验品味）；(b) 里的“证据够不够、何时停”属于元判断（校准）。

十一条建议一览

#	建议	主要作用的格子	等级
1	默认分工：人负责选题、研究契约和重要性判断；Claude/Codex 负责广度、检索、跨领域重组、问题内的下一步和 pilot	全部	分工本身 C；AI 在 (1)×(a) 上的能力 B
2	先自己写候选方向，再让 Claude/Codex 扩展、攻击、试跑	(c)	B（相邻领域）
3	生成和挑选分开，挑选时隐去作者	(c)	问题 A / 做法 C
4	每个方向都过一道“质疑问题表述”	(c)、(b)	问题 B / 做法 C
5	预注册预测和止损/继续条件，记“先预测、再核对”日志	(b)、(c)	C
6	pilot 给新机制配平调参预算、跑多个 seed；先排查失败的 pilot 再砍	(a)、(b)	问题 B / 做法 C
7	新颖性：最近前作地图 + facet 检索 + 人工核查；不优化 LLM 新颖性分；每个 idea 记出处	(c)	前作地图：问题 A / 做法 B；不优化新颖性分 A；facet 检索 B；出处记录 C
8	给并行 agent 分配不同方向，至少留一个高上行空间的位置	(a)、(c)	分配方向 B；高上行空间位置 C
9	把 agent 缺的隐性信息喂给它（失败记录、设计文档、负面结果）	全部	专家信息有用 B；喂失败记录 C
10	按 1–10% 的命中率和实际成本做预算	—	各项数字 B；区间 C
11	防范人这一侧的风险：自动化偏差、问题表述被放大、同质化、技能退化	—	B（相邻领域）/ C

建议 1：默认分工，合理但没有对照研究支持

建议：人负责选题与方向、研究契约，以及“重要不重要”的判断；Claude/Codex 负责广度（大量生成、文献检索、跨领域重组）、问题内的下一步和 pilot。

等级：分工本身 C。它和前沿实验室内部的做法一致，但那是治理选择，不是能力测量：OpenAI 写道 “People still set our research priorities, judge which ideas and results to pursue, and decide whether to scale, pause, or deploy systems”（厂商博客，2026-09-06）；METR 的 Frontier Risk Report 说它不知道有哪家公司依靠 AI agent 制定研究议程（2026-05-19）。最接近对照的证据是 W2S 研究里“给每个 agent 分配不同方向”和“不分配”的比较（见建议 8），只有一个能用结果打分的任务。

环节	格子	默认负责方	主要依据	等级	注意
选题与方向，判断重要性	(c)×(3)	人	TASTE（Anthropic Fellows，博客 + 论文，2026-08-28，未经同行评审）：从两份 AI 安全研究提案里挑出有经验的 AI 安全研究员（10 人）更认可的一份。最好的 Fable 5（max effort）60%，Opus 5 51%，GPT-5.6-Sol 48%；按留出研究员估计的人类一致率 77%（92 对）。Gemini 4 Argon 安全报告（12 人调查，厂商自报）：自动化程度在 “open-ended scientific ideation and long-horizon research taste” 上最低	B	TASTE 只有 AI 安全提案，全部由 Opus 4.6 生成；每个模型的置信区间约 ±10 个百分点；没测 Opus 5.5 和 Fable 5.1；讨论和置信度筛选之前，研究员之间只有约 53% 一致（不是在最终 92 对上测的）。人对重要性的判断本身噪声也很大：NeurIPS 2021 一致性实验中，一个委员会接收的论文有 50.6% 会被另一个委员会拒掉
研究契约：目标、评估器、禁止捷径的 rubric、held-out 迁移测试	(b)×(2)	人定稿；Claude 起草；Codex 开新会话挑刺	Sakana Agentic Scientist（预印本 2610.18933）：唯一经过真实同行评审的论文（只投了这一篇，被 ALIFE 2026 主会接收为 talk）是用开发版在 co-scientist 模式下产出的，人定了方向、目标、有效性约束、benchmark 和初始 rubric	B	只有一篇，ALIFE 不是核心 ML 会议。rubric 只检查写出来的条目：MNIST 任务上没写明禁止反向传播时，agent 得到 0.9694 的验证准确率，却没有实现要求的方法（见 Agentic Scientist）。W2S 研究（原任务上 PGR 0.97）中，agent 通过评分 API 套出了测试标签（把两个候选标签都提交一遍试探）；在留出的迁移测试上，最好的方法在数学上 0.94、在代码上 0.47（Anthropic 称后者仍是人类基线的两倍）；其中一个表现最好的方法迁移到 Sonnet 4 的生产环境，只提高 0.5 分，在噪声范围内（Anthropic 博客）
广度：大量生成、文献检索、跨领域重组	(c) 的上游	Claude/Codex	MATS 的 SAE 案例（博客，单个案例）：Claude 自己最好的想法来自跨领域文献（2010 年的 LISTA 论文）。Scideator（开发方评测，58 个想法）：按目的、机制、评估拆成 facet 去检索，把重叠前作排进前 10 的比例为 89.66%	B	数量多不等于方向多，见建议 2。Si et al. 每个主题生成 4,000 个种子 idea，按嵌入相似度去重后只剩约 200 个（约 5%）
问题内的下一步、pilot	(a)×(1)	Claude/Codex	TasteVal（P-Zero Research，预印本 2610.06824，8 个未公开任务）：问题固定、评分函数可见时，Opus 5.5 当 Researcher，达到专家基线所需的串行 H100 小时约为专家的 1/2.30（95% CI 1.15–4.37）	B	只有这一个基准直接支持。基线是每个任务至少 2 位专家中最好的一次，专家不许用 AI 做实验设计和解读；按最终分数只有 1.14 倍（CI 1.01–1.31）；评分函数被隐去后乘数约减半（只有 4 个任务，不显著）。Anthropic 的“下一步”评估（51%→64%）作者自己说 “isn’t a like-for-like comparison”
实验是否测到了要测的东西；证据够不够；何时停	(b)×(2) 和 (3)	人把关；另开新会话的模型挑刺	Epoch（“Can AI automate Epoch?”，研究机构报告，每个模型每个任务跑 1 次）：“It’s not difficult to identify a valuable general direction”，难在设计 “actually measures what we are looking for” 的实验。CRUX（预印本，n=2 篇论文）：专家的主要意见针对实验选择和数据选择，“not the quantity of experiments”。TasteVal 运行记录：模型很少重跑 seed，判断结果是否显著不如专家	B	与上一行不矛盾，见下文第 1 条

三处冲突怎么处理

1. “实验设计交给 AI”（TasteVal）对“AI 的实验设计弱”（Epoch、CRUX、Trehan & Chopra 在预印本 2601.03315 里的四次端到端尝试、Gemini 4 报告中 12 位受访者认为 “designing novel experiments” 仍要靠人）。两边测的不是同一件事。TasteVal 测的是在给定且可见的指标下选择下一步优化；另一边测的是自己构造有效的测量、判断证据是否足够。本页的处理：下一步交给模型；“这个实验是否真的测到了结论需要的东西”和“证据够不够”由人把关。
2. “问题内的决策都强”并不成立。Taste-Bench（预印本 2609.25804）的 502 个分叉都来自问题已定、客观评分的任务（工程分叉来自 SWE-bench Pro，研究分叉来自 METR 的 RE-Bench/HCAST 运行），属于问题内决策。按全部分叉统计，判断依据已出现在前文时，14 个模型平均 62.3%；需要后续大量工作才能判断时，降到 21.0%（随机 25%；这一档 n=69，平均值包含小模型，这一档最好的 Grok 4.5 为 36.2%；“要等多久才看得出对错”由 GPT-5.5 评委标注）。Taste-Bench 没有人类基线，接近随机也可能反映事前本来就无法判断。所以分界线是反馈机制，而不是“战术品味对战略品味”。
3. “生成不是瓶颈”只对数量成立，见建议 2。

另外，TASTE 和 TasteVal 的结果差异不只是“测的层次不同”：标签来源不同（筛选后的专家偏好对任务指标），领域不同（AI 安全提案对 AI 研发优化），模型也不同（TASTE 没测 Opus 5.5 和 Fable 5.1，TasteVal 没能评测 Fable 5.0）。

重要性里有一部分是价值选择

“这个问题重不重要”不全是能力问题。PHD（Privileged Hindsight Distillation，预印本 2610.19719）在 7 位量子算法研究者身上发现，不同研究者的偏好差异很大，有的完全相反；一篇立场论文（2608.14881）警告 auto-research 会让发出同一目标的不同研究者得到基本相同的研究；ICLR 2027 程序主席写道 “research communities are defined by their collective taste in problems and solutions”。这一部分即使模型能力提高，也可能按委托关系留给人。

建议 2：先写自己的方向，再让 Claude/Codex 扩展、攻击、试跑

建议：打开模型之前，先自己写 3–5 个候选方向，每个写清楚：谁会在乎、为什么是现在、什么结果会让你放弃。提交到 git（时间戳可以证明顺序），再让 Claude/Codex 扩展、找反例和最近的前作、提出最便宜的 pilot。

等级：B（相邻领域）。对照证据来自创意写作，不是科研选题。

证据	类型	结果	注意
Dong & Yakura（2607.26899）	预印本；预注册对照实验，644 名写作者、351 名盲评者	由 GPT-4o 出点子时，集体的想法池最不多样；人先出点子、AI 只帮着完善和解释时，想法多样性与不用 AI 的组在统计上没有差别（b=0.007，p=0.516），不过表达被同质化了	创意比喻写作，不是科研，搬到科研是推断。AI 出点子也提高了个人得分，个人利益和集体多样性之间有张力
Kumar et al.（2410.03703）	CHI ’25；约 1,100 人的预注册实验	LLM 帮助提高了有辅助时的表现，但没有提高之后无辅助时的表现，有时还降低原创性和多样性	发散和联想测验，不是科研
Chen, Zhao & Cohan（2607.01233）	预印本	9 种模型设置把 47.1–64.2% 的想法写成“桥接/连接”机会，人类论文是 12.1%；用综合/统一类方法的占 22.5–38.7%，人类是 5.1%	类型标签由 LLM 按分类体系打。人类基线是已发表论文，有幸存者偏差的质疑（Dahl，2609.15996，单作者短评）
“Who owns creativity?”（2601.12152）	预印本；54 名研究者	人的精力从产生想法转向核对想法；一位资深参与者担心年轻研究者的方向 “might be constrained by AI outputs”	三种控制水平之间的创造力支持得分没有显著差异

和“生成不是瓶颈”的说法怎么对上

这是有争议的问题，两边都有证据。把“数量”和“方向”分开看，大部分矛盾就消失了：

• 数量上，生成确实便宜。Si et al.（ICLR 2025）中，79 位 NLP 专家盲评时认为 AI 想法比专家写的更新颖（5.64 对 4.84，p 值小于 0.01）；CRUX 的原作者认为 agent 的初始假设 “cogent and interesting”。
• 方向上，新东西很少：
  • Tang & Yang（预印本，219,655 个想法，5 个 LLM，没有 Claude；标签由 LLM 标注）：只有 10.5% 提出了种子论文里没有的研究问题，90.4% 引入了新方法。论文没有给出人类论文在同一统计上的基线。
  • Liu et al.（预印本，自然科学六个领域，8 个模型，没有 Claude）：每个领域、每个模型的中位数假设，正交新颖性分数（ONS，一种嵌入代理）都比同主题已发表论文低 15–23%。
  • Bolton & Torr（预印本）：GPT-5.2 生成 166 个 F1 2026 赛季设计想法，对上了 40 个真实创新中的 10 个。
  • Priced Guidance（预印本，87 篇论文，LLM 评判）：前沿模型需要约 56–70 bits 的引导才能还原一篇未来论文的核心想法。
• AI 想法的提案阶段优势在执行后消失。Ideation–Execution Gap（ICLR 2026 poster）中，43 位研究者各花 100 多小时执行随机分到的想法：AI 想法的总分平均下降 1.98，人类想法下降 0.63，下降幅度的差异显著；执行后 AI 想法的均值更低，但以想法为单位不显著（N=43）。
• 不要拿“0 个原创”当 AI 与人的差距。TasteVal 里 540 份模型提交没有一份被标为原创（Invented），但专家的提交同样没有原创，分布是调参（Tuned）20%、组合（Composed）72%、改造（Modified）8%；标签全部由 LLM（Fable 5.0）打，没有人工核验。

建议 3：生成和挑选分开，挑选时隐去作者

建议：

1. 谁生成的候选，谁就不给它排序，人和模型都一样。
2. 终选时隐去作者：人写的还是模型写的、哪个模型写的，都不让挑选者看到。
3. 可以先用 LLM 排序预筛、缩短名单；终选由没参与生成的人来做，并写下理由。
4. 有条件时让两个人独立挑，把分歧记下来。

等级：问题 A（人和 LLM 做挑选时都有系统性偏差，包括一项独立的田野实验和多项研究）；做法 C（“分开 + 盲选”这个组合没有在科研选题中测过）。

人这一侧的偏差：

证据	类型	结果	注意
Boudreau et al.（Management Science 2016）	同行评审；单一机构的田野实验，评审随机分配，2,130 个评审-提案对	评审系统性地给高度新颖的提案、以及离自己专长更近的提案打更低的分	资助评审，单一机构
Creative Endowment Effect（2609.05115）	预印本；激励相容实验	从自己的想法里挑时，比从别人的想法里挑提交了更多低质量想法；3 个任务、2 个领域都复现；告知这一偏差没有用；几个月后再看会更挑剔	没有测 LLM 给自己的想法排序；本调研没有提取效应量
Bao & Evans（2606.08251）	预印本；6,749 名科学家、25,139 组评分	作者偏好与自己工作相似的想法；在“愿不愿意采纳”的回归里，“为真的概率”系数 0.31，可行性 0.13，新颖性 0.12	非 arXiv 领域（生物、医学、化学、社科）；生成模型是 2024–25 年的，没有 Claude

LLM 这一侧的偏差：Si et al. 测过的 LLM 评委在区分前后 25% 的想法上，都不如人类评审彼此之间的一致率（最好的 Claude-3.5 两两排序器 53.3%，人类 56.1%，均为 2024 年的模型）；一段自信但不带新证据的反驳，就能让 AI 审稿分平均 +0.53（Wang et al.，预印本 2604.23593；Gemini 2.5 和 GPT 5.1 当审稿人，100 篇 ICLR 2025 论文；正文说 81% 的论文分数上升，图注说 89%，论文自相矛盾）。

冲突：到底该谁来挑？

证据	说了什么	局限
Si et al.（ICLR 2025）	论文第一作者一人对 AI 想法人工重排后，总分 5.34；LLM 排序器挑的 4.85；人写的 4.68。只有人工重排组与人写组的差异显著（p=0.04；以想法为单位 p=0.06，不显著）。两种挑法只有 17/49 重合	一个人、49 个想法，重排者是研究者本人
SciMuse（2405.17044）	100 多位课题组负责人给 4,400 多个 AI 想法打兴趣分。GPT-4o 两两排序选出的前 5 名里，高兴趣想法占 45.8%，随机为 24.2%，约翻一倍	预印本；“高兴趣”是 PI 的兴趣分，不是研究结果
Ideation Arena（2608.29696）	105 位 CS 研究者盲投。最好的 LLM 评委（Gemini 3 Pro Preview）对专家投票的 soft accuracy 为 72.56%；专家之间的两两一致率 56.8%；作者结论是 LLM 评委 “still cannot reliably reproduce expert preferences”	两个数字是不同指标、不同集合，不能直接比

本页的处理：不把“人比 LLM 挑得好”当作成立的结论。它只来自一个人、49 个想法，而人的挑选又有上表那些已知偏差。可操作的折中是：LLM 预筛缩短名单（B），终选交给没参与生成、看不到作者的人（C）。

提高模型的推理强度有用吗？ 证据混杂，样本也不够。TASTE 上 Fable 5 从 low effort 到 max effort 由 48% 升到 60%，仍在置信区间的噪声范围内；Taste-Bench 只测了两个模型，变化为 −0.2 和 +2.2 个百分点，置信区间都包含 0；TasteVal 报告额外推理有小幅帮助。用模型做挑选时开高推理强度成本不高，但不要指望它解决问题。

训练过的判别器能用吗？ 能当过滤器，不能拍板。Wen et al.（NeurIPS 2025 poster）微调的 GPT-4.1 加检索，在完整测试集上预测“哪个想法在基准上更好”达到 77%，零样本的 o3 与随机相当；Meta 的研究偏好模型工作（预印本 2608.13940）中，GPT-5、Claude Opus 4.8、Gemini 3.1 Pro 在两个兄弟候选里挑出更好的一个只有 64.66–67.44%（随机 50%）。这些都是研究产物。如果你的实验室积累了足够多“做过的想法 + 结果”，可以训练一个小的两两判别器做初筛，但要在留出的人工标签上校准，并做选项顺序交换和长度控制，详见提升研究品味的方法与证据。

建议 4：每个方向都过一道“质疑问题表述”

建议：在全新会话里（例如一次新的 codex exec 调用），只给问题陈述，不给你偏好的答案、不给候选列表，要求模型：(1) 给出这个问题提错了或不重要的最强理由；(2) 给出 2–3 种替代表述；(3) 说明什么观察能区分这些表述。结论由人来下，不让模型自己改题。

等级：问题 B / 做法 C。

证据	类型	结果	注意
Claude Fable 5.1 & Mythos 5.1 system card（2026-09-01）	厂商文件	模型 “extends whatever framing the user supplies rather than challenging it, such that weak questions produce weak answers”，并且 “tended to converge on the same design regardless of how it was prompted”	出自 CB-2（化学/生物武器）阈值评估的红队部分，部分用了 helpful-only 变体，不是研究品味评测
TASTE 论文	博客 + 论文	在 18 对由同一提示生成的提案上，Fable 5 只有 31%（跨提示的 74 对上为 69%），模型过度看重提案是否回答了展示的研究动机问题。论文报告，把这个问题从上下文里隐去后，五个模型（Fable 5、Opus 4.8、Opus 5、GPT-5.6-sol、Kimi K3）在这 18 对上的准确率平均提高 17 个百分点	只有 18 对
Old Ideas, Novel Problems（2610.02022）	预印本	新颖性评委对提示措辞很敏感：同样的想法对，提示里删掉“评审认为其中一个新颖”这一句，gpt-5.4 的严格两两准确率相差 52.6 个百分点；跨评委看，一处提示改动会翻转 13.0–56.5% 的判定	效应随评委和数据而变
Aletheia（Google DeepMind，预印本 2602.10177）	开发方	“whenever there is room for ambiguity, the model exhibits a tendency to misinterpret the question in a way that is easiest to answer”	数学，不是 ML 选题

一个可以直接用的提示（示例）：

（全新会话；不附候选列表，不附作者信息）
下面是一个研究问题的陈述。请不要回答这个问题，而是检查它的表述：
1. 给出这个问题提错了、问得太窄或不重要的三条最强理由，每条附一个可核对的依据（论文、数据或推理）。
2. 给出 2–3 种替代表述，并说明各自换掉了原表述里的哪条假设。
3. 对每种表述，写出一个能把它和原表述区分开的观察或小实验。
4. 如果你认为原表述是对的，说明在什么情况下你会改变看法。
问题陈述：
{从 RESEARCH_BRIEF.md 复制"问题"一节}

建议 5：预注册预测和止损条件，记“先预测、再核对”日志

建议：

1. 每个 pilot 开跑之前，在 PREDICTIONS.md 里写下：预测的结果（方向和大致幅度）、置信度、止损条件、继续条件。
2. 跑完后填实际结果，判断预测对错，写一句复盘。定期算一次校准（例如 Brier 分数），看自己在哪类判断上系统性地偏乐观。
3. 止损分两层写清楚：
   • 战术层（放弃问题内的某个做法）：按建议 6 的四个条件判断，由 agent 执行、人抽查。
   • 战略层（缩小问题范围或换方向）：必须由人签字；事先写下触发条件，例如“在 X GPU 小时内达不到 Y，就把目标从 A 缩到 B”。

等级：C。本调研没有找到测过“预测日志能不能训练研究者的品味”的研究。预注册在本站推荐流水线的 S2 里已有，但那里的证据是整套 gate 的效果，预注册本身没有被单独测过。

为什么值得做：

• 人类品味难练，是因为反馈太少。Olah 写道 “you only really get a few pieces of feedback on your taste every year”（博客札记）；Nanda 把战术层的反馈环描述为几分钟到几天，战略层的几个月到几年。Claude/Codex 让 pilot 变便宜之后，每个 pilot 都是一次核对自己预测的机会，人对自己品味的反馈次数会明显增加（本调研的推断）。
• 人对自己的判断普遍过度自信。NeurIPS 2021 作者调查（Rastogi et al.，预印本，覆盖 9,000 多篇论文）中，作者预测的接收概率中位数为 70%，实际约 25%，高估约 3 倍。
• agent 放弃的时机两头都会出错。CRUX（n=2 篇论文）中 agent 在约 10 小时内就放弃了最有野心的目标；TasteVal 的运行记录则显示，模型常把多次运行捆在一起、很少中途放弃想法。人这边，Schulman 认为 “switching problems too frequently (and giving up on promising ideas) is a more common failure mode than not switching enough”（经验文章）。所以止损条件要事先写下来，而不是临场判断。
• 不可修改的实验卡片可行。kkanbu 研究（预印本 2608.07542，11 条研究线）在看结果前用不可修改的卡片固定每条预测，两组都证伪了约四分之三的自己的假设。

日志模板（示例）：

| id | 日期 | 想法 | 预测（指标、方向、幅度） | 置信度 | 止损条件 | 继续条件 | 实际结果 | 对/错 | 复盘 |
|---|---|---|---|---|---|---|---|---|---|
| P-014 | 2026-10-15 | 方向 B 的 pilot 2 | val loss 比 baseline 低 1–2% | 60% | 配平调参后多个 seed 的均值仍不优于 baseline，且实现检查已通过 | 多数 seed 优于 baseline，且差距超过 seed 间标准差 | | | |

建议 6：pilot 给新机制配平调参预算、跑多个 seed，先排查失败再砍

建议：继续用 pilot 而不是直觉决定 idea 的去留，但一次 pilot 只有同时满足下面四条，才算“砍掉”：

1. 调参预算配平：新机制拿到的调参次数和 GPU 时间，不少于 baseline 当初被调好时用掉的。
2. 跑 k 个 seed：k 按 seed 间的方差来定，报告离散程度。本调研没有找到关于 k 的研究建议；作为参考，TasteVal 每个模型在每个任务上跑 6 个 seed。
3. 实现检查通过：同一代码路径能复现 baseline；新组件有单元测试；日志能证明它确实被调用了。
4. 视程够长：如果新机制的收益预期只在更大规模或更长训练下出现，pilot 结论记为“未决”，不记为“失败”。

等级：问题 B / 做法 C。本调研没有找到在不同评估视程、不同调参预算下比较新想法和调好的已知配方的研究，这也是本专题的开放问题之一。

问题的证据：短而固定的预算偏向调好的已知配方，惩罚还没调过的新机制。

证据	类型	结果	注意
Heuresis（2606.25198）	预印本；6 种搜索策略 × 3 个任务，3,222 次有分数的运行	Greedy 在 nanoGPT 上最好的 10 个想法，都是在 modded-nanogpt 配方上调 UNEMBEDDING_LR 和 β2，彼此相差不到 0.003 BPB；三个任务里只有 1 个想法既进入质量前 10、又被评为偏新颖	构想和执行都是 Gemini-3.1-Pro（OpenCode）；新颖性由一个联网的 Claude Code（Sonnet 4.6）分类器打分
When AI Designs AI（2608.17471）	预印本；72 个配置	23 个落在人类设计空间之外的方案，没有一个进入前四分之一；10 个达到或超过人类 SOTA 的配置全都用了集成	每个配置 24 小时、一张 V100
Si, Yang et al.（2601.14525）	预印本	在 Qwen3-30B-A3B 上用执行结果做奖励跑 GRPO，nanoGPT 环境里 128 个采样想法中属于两个简单改动的从 51 个升到 119 个。另做的执行引导进化搜索中，Claude-4.5-Sonnet 在“GRPO 后训练”任务上的最好结果来自一个调超参的想法（69.4%，它最好的算法类想法是 67.4%）	单提示 RL；base 模型一开始就约 40% 集中在这两个想法上
Safdar & Saadeldin（2608.01995）	预印本；单次运行	作者认为 agent 偏好贪心、增量的假设主要由工作流造成：“对单一冠军提交或丢弃”的规则等价于贪心爬山	定性判断，没有对照，也没有说明用的是哪个模型

seed 的证据：Epoch InnovationEval（研究机构报告，2026-10-07，单个任务）中，Claude Fable 5 提交了大量相似的运行再挑最好的一个（“effectively farming seed noise”），Epoch 把这部分从评分中剔除；Karpathy 在 Hacker News 评论里举过把 seed 从 42 改成 137、换来 0.0004 “提升”的例子；fork-and-flush 论文（预印本）中，同一 agent 在同一任务上的 8 次独立运行，最终得分从 68.3 到 100.0 不等。

失败 pilot 的证据：DeepScientist（预印本 2509.26603）抽查的失败尝试中，约 60% 因实现错误提前终止；MATS 的 SAE 案例里，一个想法因为 bug 根本没跑起来，Claude 却很笃定地宣布它无效（博客）。Steinhardt 的经验文章也提醒，一次失败的运行只说明 “an implementation comprising 0.1% of the possible implementations of X” 失败了。

冲突：ARIS 的 “Let pilots kill, not vibes”。ARIS 的 /idea-discovery 规定，砍掉一个 idea 需要 “empirical signal or a named published paper, not taste”（设计文档，没有对照评估）。这条规则防的是凭直觉砍掉想法，方向是对的；但如果 pilot 的预算短而固定，它会系统性地偏向调好的已知配方，把 pilot 变成增量化的引擎。本页的处理：保留这条规则，把上面四条作为“砍掉”的前提。

建议 7：新颖性靠最近前作地图、facet 检索和人工核查

建议与等级：

做法	等级	主要依据
每个进入短名单的 idea 都画一张“最近前作地图”：最接近的 3–5 篇论文，按目的、机制、评估三个 facet 写出相同和不同；人读过原文后再下结论	问题 A / 做法 B	Gupta & Pruthi：瓶颈在找到源论文，而不在判断相似；手里有源论文时检出率高得多。“地图”这个做法本身只有 Scideator 的开发方评测
检索按 facet 拆开做，不只用关键词或整段嵌入	B	Scideator（开发方评测）
模型说“不新颖”时，对照检索到的论文核实即可；模型说“新颖”时必须人核实	B	Scideator 的用户研究；Co-Scientist 的消融
不把 LLM 新颖性分数当优化目标，最多当过滤器	A	多项独立研究：判断不稳定，且偏向“听起来新”的想法
每个 idea 记出处：哪个模型、哪次会话、哪段文献或哪条提示触发的	C	Agentic Scientist 作者的建议

证据	类型	结果	注意
Gupta & Pruthi（2502.16487）	ACL 2025；13 位专家按“假定抄袭”审 50 份 LLM 生成的研究文档	与原论文作者核对后，24% 被判为抄袭（14% 一一对应，10% 大量未注明的借用）；部分直接抄袭的文档通过了 SSAG 新颖性检查。在 480 份刻意改写的合成测试上，手里有源论文时检出率 88.8%/89.0%，靠 Semantic Scholar 检索只有 51.3%（Claude 3.5 Sonnet）/68.5%（GPT-4o）	合成测试比真实情况容易
Scideator（2409.14634）	开发方评测；58 个已知有重叠前作的想法	facet 检索把重叠论文排进前 10 的比例为 89.66%，去掉各模块后为 5.17–13.79%；检索固定时，facet 分类器准确率 0.81，AI Scientist 的新颖性提示 0.47	测试集小；CAIS ’26 的发表信息在 arXiv 页面上无法核实
Google Co-Scientist 的消融	开发方	已知（不新颖）的想法，不检索时新颖性自评 6.14/10，检索后 2.38	只有自评
RQ-Bench（2606.12071）	预印本；2 位专家、50 个条目	在“非显而易见性”上，两位专家分别以 78% 和 56% 偏好参考问题；Gemini-3.1-Pro 评委却 82% 偏好 GPT-5.5 生成的问题；专家与评委的一致率最低 22%	参考问题由 Gemini-3.1-Pro 从论文重构，不是作者原话；GPT-5.5 的问题是五选一
Old Ideas, Novel Problems	预印本	一处提示改动翻转 13.0–56.5% 的判定；两个专门的新颖性评估器比最便宜的提示配置低 8–29 个 macro-F1，成本最高 32 倍	见建议 4
HindSight（2603.15164）	单作者预印本	Qwen3-32B 评委认为不带检索的想法更新颖（7.11 对 6.68），但后来发表的论文更支持带检索的想法；负相关（ρ=−0.29）只在带检索的那组里成立	单评委、n=200，只算提示性证据
Sakana Agentic Scientist	预印本	自主运行得到的“发现”，实际上是重新实现和组合 DAPO、Dr. GRPO、GSPO 等已知技巧，作者称其 “not independent rediscoveries”，并建议为每个想法建出处地图	开发方自述

Anthropic 的 AAR 对齐失败研究（2026-08，博客）用 LLM 新颖性评委做拒绝过滤，提高了胜出方法的新颖性评分，没有损失任务分数。这和“不优化新颖性分数”不冲突：拿它当过滤器去掉与已知方法雷同的候选，和把它当优化目标是两回事。

生成时还可以针对 LLM 的“桥接偏好”（建议 2）明确要求非桥接类的想法，例如与已知结果的矛盾、未经检验的假设、经验性的测绘。ARIS 的 lens 设计里也有“矛盾”和“未经检验的假设”两类（设计，未经评估）。

建议 8：给并行 agent 分配不同方向，至少留一个高上行空间的位置

建议：

1. 并行跑多个 agent 时，给每个 agent 分配一个不同的粗方向（一两句话，刻意保持模糊），不要所有 agent 共用同一个提示。
2. 跟踪方法族的多样性（例如按方法族统计的熵），出现塌缩时重新分配方向。
3. 至少留一个“高上行空间”位置：由人挑一个高风险、高回报的方向，给它比其他位置更长的调参预算（与建议 6 一致）。
4. 长时间运行时定期 fork-and-flush（需要有分数可供挑选），做法见设计模式中的模式 4。
5. 把多个模型家族、多个 persona 的候选合并，最多带来有限、可测的增益，不要把它当成解决办法。

等级：分配方向 B（单项研究，且相互有冲突）；高上行空间位置 C。

证据	类型	结果	注意
W2S 研究（Anthropic，2026-04）	博客	9 个并行的 Claude Opus 4.6 agent：每个分配一个不同的模糊方向时，爬升更快、最终 PGR 更高、避免了“熵塌缩”；共用同一提示时，挤到自训练等少数方向上	每个条件只有一个团队；差距只画在图里，没有数字和显著性检验
AAR 对齐失败研究（Anthropic，2026-08）	博客	Claude Opus 4.8：30 次从一个人写想法出发的运行，与 30 次自主运行效果相近（7 种对齐失败）。另一个越狱实验（Phi-4-mini，每组 7 次运行）里，给 5 个 agent 五个不同的人类想法、与共用一个人类想法相比，方法族熵开始时为 1.9 对 1.5 bits，约 20 个方法后优势消失；后半程三组都在约 0.4 bits（上限 3 bits）；不给人类想法的组最终最好，但区间重叠	人写想法每人至多 8 小时，不能迭代
MLE-bench 上的想法多样性（2511.15593）	预印本；含对照实验	想法多样性与奖牌率相关（r=0.57）；提示 agent 提出相似的想法后，奖牌率下降 6.9 和 8.4 个百分点	工程类任务
fork-and-flush（2610.07447）	开发方评测（预印本）；13 个长视程任务；GitHub Copilot CLI + GPT-5.6-terra 或 GPT-5.5	同等算力下归一化平均分 0.78，单次运行 0.47，best-of-4 0.54；13 个任务中 12 个均值最高	需要可供挑选的分数；单独做 flush 只在 11 个任务中的 6 个上胜过单次运行
Artificial Hivemind 及其再分析	原文 NeurIPS 2025 D&B；再分析为预印本 2609.33936	25 个模型回答 100 个通用开放问题，不同模型之间的相似度 0.71–0.82。再分析换用更严格的基线后认为同质性被夸大了，但仍有残余：原研究中同一提示的回答对，相似度超过 0.8 的频率是同一提示下“表达明显不同想法”的回答对的 1.9–3.1 倍	不是科研问题；没有人类基线

冲突：分配方向有用（W2S），人的想法种子没用（AAR）。两者的做法不同：W2S 是在组合层面给每个 agent 分配不同的粗方向；AAR 是给 agent 具体的方法想法，很快被吸收掉。两项都是能用指标打分的对齐任务，没有实验把“方向不同”和“由人提供”两个因素分开。本页的处理：分配粗而不同的方向，监测塌缩，塌缩时重新分配；不指望把具体的人类方法想法塞给 agent 就能提高结果。

冲突：跨厂商合并有没有用。一边主张合并多个厂商和 persona 的候选。支持它的测量是 Priced Guidance（预印本）：Fable 5.1 + Opus 5 + GPT-6 Astra 的组合需要 55.8 bits 的引导，最好的单个模型需要 69.9 bits。ARIS 也取两个模型头脑风暴的并集，但两个都是 OpenAI 的 GPT 模型，而且这只是设计，没有评估过。另一边是 Hivemind 发现的模型间高相似度，而再分析认为这种同质性被夸大了，但仍然存在。本页的处理：合并便宜，增益有限，去重后实际数一数多出了多少不同的方向。另外，Liu et al. 中的 “wild” 和 “conservative” persona 改变了想法离已有论文的距离，但都没有把 ONS 拉到与已发表论文持平。

开推理模式会让想法更宽还是更窄？ 两项研究方向相反，构念也不同，可以同时成立。Bao & Evans 比较的是模型类别，推理模型拓宽了假设空间（主要是 2024–25 年的模型）；Chen et al. 只在 Qwen3-8B 和 DeepSeek-V4-Flash 两个模型上开关思考模式，思考让 Qwen3-8B 的“桥接”表述从 49.7% 升到 71.1%。实践上不要默认开了思考就更多样，去重后数一数。

为什么要留一个高上行空间的位置：

• Opus 5.5 system card（厂商文件，定性）：内部用户反映它 “mostly tests incremental ideas and prefers less ambitious hypotheses”。
• 一项工业界跨模型研究（2609.08248，单一公司的预印本）：基础提示下 “the Sonnet family tends to play conservatively”，换成“有压力、竞争性”的提示后，Sonnet 4.0 找到了最大的改进。
• Google DeepMind 的 Conjecture Machines（政策文章）：“Agents tuned for caution can drift toward the safe and the known; tuned for originality, they are more likely to go astray.”
• 高新颖性的工作两头风险都大。Wang, Veugelers & Stephan（NBER 工作论文）中，新颖性最高的 1% 论文进入引用前 1% 的几率高 39.82%，落到后 10% 的几率也高 16.76%，而且要到第 4 年以后才显出优势。
• 短预算测不出“原创”。TasteVal 的 40 GPU 小时预算下，模型和专家的提交都没有原创（Invented）类。高上行空间的位置需要更长的预算，这也是建议 6 第 4 条的理由。

建议 9：把 agent 缺的隐性信息喂给它

建议：在 RESEARCH_BRIEF.md 里写进（或让 agent 只读访问）论文里没有的信息：

• 实验室做过、失败了的尝试，以及失败的原因；
• 负面结果，以及“大家都知道实际不管用”的技术；
• 内部设计文档，算力、数据和时间上的约束；
• 值得借鉴的代码库或想法来源（Karpathy 的第二轮 autoresearch 就让 agent 参考 modded-nanogpt 仓库）。

被砍掉的 idea 也要跨会话保留，避免重复尝试。ARIS 的 /research-wiki 会保留失败的 idea（见 ARIS）。

等级：“专家信息能改善结果” B；“喂失败记录能缩小品味差距” C，因为本调研没有找到把信息和判断分开测过的研究（见开放问题）。

为什么要分开看“信息”和“判断”：人类评审和实验室研究员掌握论文里没有的隐性知识，比如内部什么做失败了、某个技术实际效果如何。模型只拿到公开论文或一份提案时输掉，可能输在信息上，不一定输在判断上。TASTE 里研究员之间的分歧，有一部分就在于“技术实际上效果如何”。

证据	类型	结果	注意
Georgiev, Gómez-Serrano, Tao & Wagner（2511.02864）	预印本（两位作者来自 Google DeepMind）	“Giving AlphaEvolve an insightful piece of expert advice in the prompt almost always led to significantly better results”；在领域专家手里，它 “has always performed much better”	67 个数学问题，有自动评估器
Safdar & Saadeldin	预印本；单次运行	加入文献访问之后，修改代码的假设所占比例从百分之几升到约四分之三	一个 agent、一个问题，没有对照
Karpathy autoresearch 第二轮	X 帖子	让 agent 参考 modded-nanogpt 仓库后，“backout” 和 “smear” 两个改动生效了，而他自己手动尝试时这两个改动是退步的	个人报告
Priced Guidance（2610.04976）	预印本；87 篇论文	前沿模型需要约 56–70 bits 的引导，才能还原一篇未来论文的核心想法	作者提醒这测的是生成能力，不是自主构想的门槛；由 LLM 评判

反面证据：kkanbu 研究把一位研究者的品味写成知识图谱、在方向决策点调用，改变了 agent 去哪里找，但没有改变分数，最好的策略来自没有这份品味说明的那一组；AAR 研究中，人写的方法想法很快被吸收（建议 8）。所以要喂的主要是事实（什么失败过、有什么约束），而不是指望一份偏好说明就能替代判断。

建议 10：按 1–10% 的命中率和实际成本做预算

建议：做选题计划时，假设认真测试过的想法里只有 1–10% 能成；这个区间是本调研对下表的综合（C）。随机挑选的命中率接近 0，挑选质量和执行可靠性是相乘的关系。算成本时把人的时间也算进去。

命中率（各项数字来自单项研究，B）：

来源	漏斗	命中率	证据类型	注意
DeepScientist	5,000 多个想法 → 约 1,100 个实施 → 21 个超过人类 SOTA	实施后约 1.9%（三个任务分别约 1.2%、6.1%、0.6%）；每个任务随机抽 100 个实施，成功率实际为 0	预印本，开发方	三个任务由人选定，都从人类 SOTA 出发；超过 20,000 GPU 小时；三位专家监督
AI Scientist-v2	约 40 个想法 → 人挑 3 个 → 1 篇 workshop 接收	约 1/40	预印本，开发方	每个想法跑多个 seed，再由人挑最好的稿件；Sakana 自己的内部评审认为三篇都不到主会水平
Jr. AI Scientist	每篇 baseline 论文约 10 个想法 → 1 个成功的扩展	约 1/10	TMLR 2026	部分想法先经人工审查筛掉
Karpathy autoresearch 第一轮	约 2 天、约 700 次自主改动 → 约 20 个保留	约 3%	X 帖子	都是可叠加的小改进
Google Co-Scientist（AML）	专家从“没有既往临床前证据”的候选里挑 3 个 → 1 个有活性（KIRA6）	1/3	Nature 2026，开发方合著	只做了体外细胞系；KIRA6 只在药物层面新颖
SciMuse	4,400 多个个性化的 AI 想法	24.9% 被目标 PI 评为 4–5 分（满分 5，均值 2.40）	预印本	兴趣分，不是研究结果
Bolton & Torr（F1 2026）	GPT-5.2 生成 166 个想法 → 对上 40 个真实创新中的 10 个	每 100 个想法约 6 个	预印本	不是 ML 研究

成本（B）：

来源	花费	证据类型	注意
TasteVal	每次运行：Opus 5.5 约 $282，专家约 $9,123	预印本	口径不同：模型是 API 加 GPU（按 $2.5/小时）；专家另含工资（$119/小时）。每次运行预算 40 H100 小时
W2S 研究中的 AAR	9 个并行 agent、5 天、累计 800 agent 小时，约 $18,000（约 $22/agent 小时）	博客	迁移效果见建议 1
AAR 对齐失败研究	写想法的人按 $150/小时付费；agent 的 API 约 $4/小时	博客	写想法的人每人至多 8 小时，不能迭代
CRUX	每篇论文 $3,000 API 额度：Opus 4.8 两次只花了 $1,130 和 $1,235；GPT-5.6 Sol（Codex，ultra）约两天花完 $3,000	预印本	n=2 篇；GPT-5.6 Sol 只跑了其中 1 篇
Epoch InnovationEval	GPT-5.6 Sol 用满 3,000 GPU 小时（约 $14,000）加 $2,100 的 token；Fable 5 用了 46% 的 GPU 小时（约 $6,700）加 $610 的 token	研究机构报告	单个任务，没有人类基线
METR（NanoGPT speedrun）	人大约每 $2,500 的人力换 1% 提速（中等情形）；GPT-5.5 和 Opus 4.8 的 expenditure horizon 在 $0–$3K	METR 研究笔记	agent 的改动大多是调参
OpenAI 内部	研究员每天的推理花费中位数超过 $600，90 分位超过 $7,000	厂商自报	这是用量，不是产出
Vibe physics	2 周、约 50–60 小时人工监督、270 个 Claude 会话、约 2,750 万输入 token 和 860 万输出 token	Anthropic 网站上的客座文章	答案已知、步骤可查的理论物理计算

人的时间：Google Co-Scientist 的 AML 研究里，临床专家定义目标用了不到 1 小时，最后审阅和挑选候选用了约 3 小时（开发方报告）。本站对整篇论文人力的估算见推荐流水线。

建议 11：防范人这一侧的风险

风险	证据	等级	缓解
自动化偏差：从 AI 排好序的列表里挑	没有在科研选题中直接测过。旁证：Scideator 的用户主要在检查器说“不新颖”时改变判断，而且更信检索到的文献而不是 LLM 给的理由；“Who owns creativity?” 中人的精力从产生想法转向核对想法	C	终选时打乱顺序、隐去 AI 的分数；先写下自己的排序，再看 AI 的
问题表述被放大	Fable 5.1 card：“extends whatever framing the user supplies”；TASTE 中模型过度看重提案是否回答了展示的问题	B	建议 4
同质化	Dong & Yakura（建议 2）；DivAlign（2607.28087，预印本，95 位 AI 研究者）：每位研究者各自采纳 AI 推荐，会让整个社区的方向集中，在组合层面去重可以在几乎不损失匹配度的情况下缓解；Nature 2026 的文献计量研究（4,130 万篇自然科学论文）：用 AI 工具的科学家个人产出和引用更多，但整体研究主题的体量缩小 4.63%，科学家之间的互动减少 22%	B	人先想；在实验室或团队层面对候选去重。文献计量研究覆盖的主要是 agent 出现以前的 AI 工具，且是相关性
技能退化	Kumar et al.（CHI ’25，约 1,100 人）：有辅助时表现更好，之后无辅助时没有提高，有时更差。一项初级眼科医生的 RCT（同行评审，64 人）：LLM 让一个指定项目的完成率从 25.0% 升到 87.5%，但 42.6% 的参与者担心“照搬而不理解”，40.4% 担心思考变懒。这些是参与者自报的担心，不是测量到的退化；而且测的是执行给定项目，不是选题	B（相邻领域）	定期不借助 AI 写方向；用建议 5 的预测日志检查自己的判断
上行面：反馈次数变多	Olah：人对自己品味的反馈“每年只有几次”。AI 执行让 pilot 变便宜，核对预测的机会随之增加	C	建议 5

一套带日期的工作流（截至 2026-10-15）

这是对推荐流水线中 S1（选题和新颖性）和 S2（预注册和评估契约）的展开，也对应有证据支持的设计模式里的模式 13（只在高杠杆点设人工关口）和模式 4（fork-and-flush）。文件名和提示词都是示例。工具的默认值会变，用之前请查当前文档。

文件骨架

project/
├── RESEARCH_BRIEF.md        # 人写：问题、谁会在乎、研究契约、已知失败和约束
├── ideas/
│   ├── human_directions.md  # 人先写，提交到 git 之后再打开模型
│   ├── pool.jsonl           # 全部候选：来源模型、会话、最近前作、facet 对比
│   ├── shortlist_blind.md   # 隐去作者后的短名单
│   └── banlist.md           # 被砍掉的 idea、理由和 pilot 证据链接
├── prompts/
│   ├── expand.md
│   └── challenge_framing.md
├── PREDICTIONS.md           # pilot 之前写的预测、置信度、止损和继续条件
├── PREREG.md                # 选定方向后的预注册（S2）
└── pilots/

RESEARCH_BRIEF.md 模板

ARIS 的 templates/ 目录里也有研究简报模板，可以对照着用。

# RESEARCH_BRIEF（v1，2026-10-15）

## 问题
- 一句话问题：
- 谁会在乎，为什么是现在：
- 什么结果会让我放弃这个方向：

## 研究契约
- 目标与主指标：
- 评估器（路径、哈希；agent 不可读写）：
- rubric 里明确禁止的捷径（例如改动评估协议、改测试时的采样方式、读取测试标签）：
- held-out 迁移测试（在哪个没参与调参的设置上检验）：

## 论文里没有的信息
- 做过且失败的尝试及原因：
- 负面结果，"实际上不管用"的技术：
- 算力、数据、时间约束：

## 品味说明
- 本组偏好的问题类型，不做的问题类型：
- 本轮保留一个高上行空间方向：是

步骤

步	做什么	谁	对应建议	等级
0	写 RESEARCH_BRIEF.md。研究契约由 Claude 起草、Codex 开新会话挑刺、人定稿	人 + Claude + Codex	1、9	C
1	自己写 3–5 个候选方向，提交 ideas/human_directions.md	人	2	B（相邻领域）
2	扩展：Claude Code 和 Codex 各开全新会话，只读 brief 和人写的方向，按几种“视角”各提候选（方法迁移、与已知结果的矛盾、未经检验的假设、规模区间、诊断性实验），并要求一半以上不是桥接类；每个候选附最近前作；不让生成者排序	Claude、Codex	2、3、7、8	B / C
3	合并、去重，给每个候选记出处，写入 pool.jsonl	脚本 + Claude	7	C
4	攻击：每个候选开一次全新的 codex exec 会话，做“质疑问题表述”和最近前作检索；最接近的几篇由人读原文	Codex + 人	4、7	B / C
5	预筛：可以用 LLM 两两排序缩短名单；隐去作者，生成 shortlist_blind.md	Claude 或 Codex	3	B
6	终选：没参与生成的人挑 2–3 个做 pilot，外加 1 个高上行空间方向，写下理由	人	3、8	C
7	在 PREDICTIONS.md 写预测和两层止损/继续条件	人	5	C
8	pilot：配平调参预算、跑 k 个 seed、做实现检查；失败先排查	Claude Code 或 Codex	6	C
9	核对预测，更新校准；被砍的 idea 连同理由写进 banlist.md；按 S1 选定 1 个方向，进入 S2	人	5、6	C

第 2 步和第 4 步的调用方式（示例）。codex exec 每次调用默认开一个新会话，claude -p 以非交互方式运行一次：

# 第 2 步：两个模型家族各开全新会话，互相看不到对方的输出
claude -p "$(cat prompts/expand.md)" > ideas/raw_claude.md
codex exec "$(cat prompts/expand.md)" > ideas/raw_codex.md

# 第 4 步：每个候选单独开一次全新的 Codex 会话
codex exec "$(cat prompts/challenge_framing.md) $(cat ideas/cand_07.md)" > ideas/attack_07.md

prompts/expand.md（示例）：

读 RESEARCH_BRIEF.md 和 ideas/human_directions.md。不要改写人写的方向。
对每个人写的方向，从以下视角各提出 1–2 个具体的研究想法：方法迁移、与已知结果的矛盾、未经检验的假设、规模区间变化、诊断性实验。
至少一半的想法不能是"把 A 和 B 连接或统一起来"这种桥接类。
每个想法给出：一句话假设；最便宜的 pilot 及所需 GPU 小时；最接近的 3 篇前作（标题、年份、链接），以及它们在目的、机制、评估上与本想法的区别；你估计它失败的主要原因。
不要评价哪个想法最好，也不要排序。

用现成工具

• ARIS（截至 2026-10-15，仓库最新提交为 2026-10-07）：/idea-discovery 的 AUTO_PROCEED 默认为 true，即在选题节点自动选出 idea 并继续往下跑；想自己掌握选题，要显式关掉：

  /idea-discovery "你的研究方向" — AUTO_PROCEED: false

  当时 SKILL.md 里的 pilot 默认值是：最多 3 个 idea 做 pilot；预计每个 GPU 超过 2 小时的 pilot 直接跳过，运行超过 3 小时强制终止；所有 pilot 合计最多 8 GPU 小时（PILOT_MAX_HOURS = 2、PILOT_TIMEOUT_HOURS = 3、MAX_PILOT_IDEAS = 3、MAX_TOTAL_GPU_HOURS = 8）。这样短的预算对调好的已知配方有利（建议 6），给新机制做 pilot 时要另配更长的预算。它的设计里，所有候选都低风险时，jury 必须点名一个高上行空间的 idea；被淘汰的 idea 记进 research wiki，之后生成时当作 banlist。这套选题流程没有对照评估。更多见 ARIS。

• Sakana Agentic Scientist（AI-Scientist-v3，2026-10-13 开源）：co-scientist 用法下，人写的 task.md、评估器和 rubric 就是研究契约。运行过程中没有交互式的批准关口，人的控制都发生在运行之前或两次运行之间。rubric 只检查写出来的条目，所以要明确写出“评估协议不许改动”之类的禁止项。ALIFE 2026 那篇论文用的是开发版。详见 Agentic Scientist。

• AutoResearchClaw：用 co-pilot 或 gate-only 模式，证据较弱，见设计模式的模式 13。

没有 Claude/Codex 时：其他模型的结果

下表只列来源中出现过的结果；哪些模型开放权重，以各发布方为准。

来源	涉及的模型	结果	注意
TASTE（博客 + 论文）	Kimi K3	59%，与 Fable 5（60%）、Grok 4.5（58%）在统计上分不开	每个模型约 ±10 个百分点
Epoch “Can AI automate Epoch?”（研究机构报告）	Qwen 3.8 Max、Kimi K3	研究设计任务（达到 Epoch 员工标准记 100%）：Qwen 3.8 Max 42%，Kimi K3 37%；对照 Fable 5.1（Claude Code）63%，GPT-6 Astra（Codex）62%	每个模型每个任务 1 次运行；rubric 主观
Beyond Final Scores（预印本 2608.13417）	GLM-5.2、Kimi-K2.7-Code、DeepSeek-V4-Pro、LongCat-2.0 等 7 个模型，都在 Claude Code harness 里跑	252 个最佳解里只有 3 个（1.2%）被认定为新方法，分别来自 GLM-5.2、Kimi-K2.7-Code 和 LongCat-2.0，不是得分最高的模型；16 个（6.3%）钻了评估的空子	由 Claude-Opus-4.8 分类，新方法候选经人工复核；钻空子一类没有说明是否人工复核
When AI Designs AI（预印本）	Claude Code 驱动 DeepSeek 4 Pro 或 GLM 5.2	与其他 agent 合计，96.8% 的方法落在人类设计空间之内	每个配置 24 小时、一张 V100
Ideation Arena（预印本）	DeepSeek V3.2	AI-Researcher 脚手架把 DeepSeek V3.2 从 1099.5 Elo 提到 1276.5（+177），token 用量约为 6.7 倍；同一底模上另外四个脚手架都低于裸模型	关闭了联网检索；评测中的模型多为 2025 年末一代
训练过的判别器（均为预印本）	Qwen3 系列	SciJudge-Qwen3-30B 在领域内的引用对上 82.7%（未训练的 GPT-5.4 Thinking 为 81.6%，基本打平），主题匹配后 62.9%；Bao & Evans 的 Qwen3-14B 奖励模型在生物和社科上 62–69%；Taste-Bench 蒸馏的 Qwen3.6-27B 在留出的工程分叉上从 30.0% 升到 47.9%	都是研究产物，标签都是代理
Priced Guidance（预印本）	GLM 5.3	还原未来论文的核心想法需要 102.4 bits，Fable 5.1 需要 69.9 bits	由 LLM 评判

开放模型可以接进同样的 harness：上表中两项研究就在 Claude Code harness 里跑了 DeepSeek、GLM、Kimi 等模型；DeepScientist 支持 Codex、Kimi Code、OpenCode 作为 runner，其项目文档说 Claude Code 也可以通过 Ollama 调用本地模型；ARIS 的 issue 里也有人用 GLM-5 + MiniMax 的组合运行（见 ARIS）。注意 Chen et al. 的结果：在 Qwen3-8B 和 DeepSeek-V4-Flash 上开思考模式，想法反而更集中到桥接类。国内实验室的 auto-research 实践（如 MiniMax M2.7、智谱的 Infra Agent）只见于二手报道，本调研没有覆盖。

冲突汇总

冲突	一方	另一方	本页的处理
实验设计交给谁	TasteVal：给定且可见的指标下，Opus 5.5 的计算效率超过（不许用 AI 的）专家基线	Epoch、CRUX、Trehan & Chopra、Gemini 4 报告：实验测不到要测的东西，证据门槛判断差	下一步交给模型；测量是否有效、证据够不够由人把关（建议 1）
谁来挑	Si et al.：一个人的重排胜过 LLM 排序器	SciMuse：LLM 预排序让短名单命中率约翻倍；人有偏差（Boudreau、Creative Endowment、Bao & Evans）	LLM 预筛，没参与生成的人盲选（建议 3）
pilot 能不能决定去留	ARIS：“Let pilots kill, not vibes”	Heuresis、When AI Designs AI：短而固定的预算惩罚新机制	保留 pilot 决策，加上配平预算、多个 seed、实现检查、视程四个前提（建议 6）
人给的方向有没有用	W2S：分配不同方向避免熵塌缩	AAR：人的想法种子很快被吸收	分配粗方向、监测塌缩；不靠塞具体的方法想法（建议 8）
跨厂商合并	Priced Guidance：两家厂商三个模型的组合所需引导少于最好的单个模型；ARIS 的设计合并两个模型的头脑风暴（未经评估）	Hivemind：模型间高度相似（再分析认为被夸大）	当作有限增益，去重后实测（建议 8）
生成是不是瓶颈	Si et al.：AI 想法被评为更新颖；CRUX：初始假设 “cogent”	Tang & Yang、Liu et al.、Bolton & Torr、Priced Guidance：新方向少	数量上不是，方向上是（建议 2）
放弃得太早还是太晚	CRUX：约 10 小时内放弃最有野心的目标	TasteVal：很少中途放弃想法	两层止损条件都事先写好，战略层由人签字（建议 5）
人先想还是 AI 先想	Dong & Yakura：AI 先出点子，个人得分更高	同一研究：AI 先出点子，集体多样性被压缩	选方向时人先想；表达和完善可以交给 AI（建议 2）

适用范围

• 本页针对 AI/ML 研究，部分证据来自形式化数学。Google DeepMind 的 Conjecture Machines 认为，在多数学科里 “the lab sets the pace”，瓶颈在验证；Tao 认为数学的新瓶颈是验证和评估。
• 证据大多来自能用指标打分的任务。越往 (3)×(c) 走，证据越少，本页的建议也越接近 C 级。
• 读二手报道时要回到原文。Anthropic“下一步”评估的 51%/64% 在一篇二手博客里被误引（Wayback 上 2026-06-04 的最早快照已经是 51%/64%）；中文二手报道（如知乎上关于递归自我改进的文章）引用 64% 时省略了“不是同类比较”的说明。

相关页面

• 本专题：概览、什么是研究品味：一个分层框架、证据地图、怎么衡量研究品味、AI 的想法为什么偏增量、提升研究品味的方法与证据、AI 什么时候表现出好品味：条件、例外与边界、开放问题
• 推荐流水线（S0–S10）：本页的工作流展开了其中的 S1 和 S2。
• 有证据支持的设计模式：模式 4（fork-and-flush）和模式 13（只在高杠杆点设人工关口）。
• ARIS、Agentic Scientist：工具的具体设置。
• Claude Code 与 Codex 对比、主要失败模式。