AI 什么时候表现出好品味：条件、例外与边界

证据地图按格子列出了强项和弱项。这一页换个方向：从“AI 看起来表现出了好品味”的成功案例出发，问它们有什么共同点，再检查这些共同点能不能解释失败。

本页沿用本专题的两条坐标：

反馈机制：(1) 外部给定、便宜的客观指标；(2) 指标被隐去或需要自己构造；(3) 延迟或主观的评价。
范围：(a) 问题内的下一步；(b) 实验设计与证据门槛；(c) 选题与方向。

标 † 的数字或引文只来自检索阶段的摘录，没有经过第二轮对照原文的核实。

一句话版本

成功案例几乎都落在 (1a) 和 (1b)：问题由人或社区事先选定，有便宜可信的评估器，配合大规模或高效的搜索，再由人筛选输入或输出。问题的重要性大多是“继承”来的，AI 负责在给定的问题里找到解。这描述的是目前展示出来的案例长什么样，不能证明 AI 不会选题，因为选题本身还没有被测量过。

成功案例一览

四个条件在各案例中的体现

案例	(i) 问题来源	(ii) 评估器	(iii) 搜索	(iv) 人工筛选	类型 · 独立性
OpenAI “Ten Advances”	著名的、人提出的问题	Lean 证书	未披露	人在模型协助下写稿	厂商自报；审计非独立
openai/math	约 4,000 个问题，来源未披露	约 42% 的主要结果已形式化	每个结果平均约 3 小时 ChatGPT Pro 思考算力	按显著性保留，由谁判断未披露	厂商自报
Aletheia（Feng26、Erdős、FirstProof 第一批）	人类论文里的问题；社区维护的 Erdős 列表；FirstProof 题目	AI 验证器初筛，专家审读证明	700 个 Erdős 问题	人从 200 个可评回答中认定 13 个有意义	预印本 · 自评
FirstProof 第二批	出题人自己未发表的问题	30 位专家双盲评审	4 个系统、39 份解答	评审本身	预印本 · 半独立
AlphaEvolve	人选的、能写成评分函数的问题	用户编写的自动评估器	进化式大规模搜索	生产应用中没有逐个候选的人工筛选	预印本 · 自评；生产数字为厂商自报
Google Co-Scientist	合作实验室提出的问题	体外细胞或类器官实验	生成、辩论、进化的多 agent 锦标赛	专家从 30 个假设中挑 5 个药物；新候选挑前 3 个	同行评审 · 由合著实验室验证
Anthropic AAR / W2S	因为可按结果评分而被选中的问题	PGR（远程评分 API）	9 个 agent，累计 800 小时	人分配方向	博客 · 自评
DeepScientist	作者选的 3 个任务	benchmark 指标	超过 20,000 GPU 小时，约 5,000 个想法	三位人类专家监督输出	预印本 · 自评
Station	ICLR oral 论文的主问题	GPT-5.5 判官	多 agent 长时运行	无	预印本 · 自评
Intology Locus	现成基准（如 RE-Bench）	benchmark 分数	64 小时连续运行	未说明	厂商自报
TasteVal	固定问题	任务指标	高效而非海量：每次运行约 24 个实验	无	预印本 · 第三方

数学

OpenAI “Ten Advances”（博客、PDF，2026-08-01，PDF 于 8 月 6 日更新；厂商自报，附 Lean 证书）

10 个结果归于 “an internal OpenAI model”（博客称 “an internal version of Astra”），包括 “An explicit nonsofic group”，以及一个由性质 (T) 群组成、群 von Neumann 代数都相同的无穷族，“disproving Connes’s conjecture”。稿件由人在模型协助下撰写。
唯一的审计（Sienicki & Sienicki，arXiv 2608.14673 v3，预印本）审阅了 18 份分章评估，结论是 “No surviving confirmed substantive mathematical error in a principal result”；同时指出审阅深度不一、依赖关系只核查了一部分，第 8 章被要求大修。审计作者 “organized and participated in the broader project”，自称 “not independent”。
Zhou 的独立工作（借助 GPT-5.6 Sol）确认 Connes 猜想不成立，但没有确认 OpenAI 更强的无穷族结果。
来源之争：Andreas Thom 在 Tao 博客上的客座文章（2026-09-11）说，关键的命题 2.3 决定性地依赖 Kun 及 Kun–Thom（2019）的已有工作。据 Fournier-Facio 的说法，OpenAI 原先“至少十年没有进展”的表述已于 8 月 3 日删去。

openai/math（GitHub，2026-10-06；厂商自报）

未发布的内部模型产出 722 份稿件、372 个结果族。README 说模型 “was posed approximately 4,000 problems”，“on average, each result used three hours of ChatGPT Pro thinking compute”（3 小时指每个结果，不是每个问题）。
产出按 “an appropriate level of significance” 保留，问题来源和由谁判断显著性都没有披露。
10 月 7 日的更新记录：一个符号错误使 “Algebraicity of Weil classes on split abelian eightfolds” 及依赖它的两篇 K3/Hodge 稿件被撤回，另有 14 份修订、13 份更新引用；主要结果中有 300/719（约 42%）完成了形式化。README 提醒：“Some of the unformalized results could have issues.”

Google DeepMind Aletheia（基于 Gemini Deep Think 的 agent；arXiv 2602.10177、arXiv 2601.22401；预印本，开发方评测）

Feng26：论文的数学内容全部由 AI 生成，没有人类介入。它计算算术几何中称为 eigenweights 的结构常数，解决了 FYZ26 留下的若干问题，用的是 FYZ26 作者不熟悉的另一数学领域的技术。问题本身来自人类作者的论文。开发方自评显著性为 Level 2（可发表），没有 Level 3 或 4 的结果。
Erdős 问题：2025 年 12 月 2–9 日，对 Bloom 数据库中标为 “Open” 的 700 个问题运行。验证器标出 212 个可能正确的回答；人能确定评分的 200 个中，137 个（68.5%）根本错误，63 个（31.5%）技术上正确，但其中 50 个是对 Erdős 原意 “mathematically vacuous” 的误读；只有 13 个（6.5%）有实际意义。这 13 个中，4 个是新的自主解答（2 个完整、2 个部分），专家说 “none of the four individually rises to the level of a research paper”，有的只相当于学生习题；其余 9 个是独立重新发现或文献中已有的解。作者的结论是，这些问题之所以 “Open”，“can be attributed to obscurity rather than difficulty”。
FirstProof 第一批：10 题中 6 题的解答被专家多数判为正确（P8 只有 7 人中的 5 人认可），4 题没有输出，只有 P7 达到可发表水平。同一篇论文还记录，OpenAI 声称对 6 题给出了 “highly likely” 的解答，这些解答 “produced with undisclosed human guidance”，其中 P2 很快被发现有误。
作者自述的弱点（§5.3）：“success cases seem to arise from clever technical manipulations or vast knowledge retrieval, rather than what mathematicians would consider to be genuine creativity, although the latter concept is admittedly subjective.”

FirstProof 第二批（Abouzaid、Srivastava、Ward、Williams；arXiv 2606.18119；基准报告，未同行评审）

学术数学家用自己已解决但未发表的 10 个研究问题，测试 4 个系统（ChatGPT 5.5 Pro 和 3 个调用公开模型的学术 harness）。30 位专家双盲评审 39 份解答，每份 2–3 人。
7/10 的问题至少有一份解答通过（基本无误或小修），另有 2 题有被评为“大修”的尝试；P4 没有实质进展。
AI “tended to perform best when a problem was structurally similar to results already in the literature”；P2 是把出题人早先发表的证明翻译过来，且没有引用。评审说 AI 的解答 “handle routine parts of an argument in meticulous detail while glossing over the most difficult steps”。
资助：接受 Anthropic 和 OpenAI 的无限制捐赠，Google.org 的资助待定；出题人承诺 2026 年 3–9 月不为 AI 公司工作。

AlphaEvolve（Google DeepMind 白皮书 arXiv 2506.13131，数字为厂商自报；Georgiev、Gómez-Serrano、Tao、Wagner，arXiv 2511.02864，预印本）

Gemini 提出程序修改，由用户编写的自动评估器打分。50 多个精选数学问题中，约 75% 追平、约 20% 改进了已知最好结果；4×4 复矩阵乘法用 48 次标量乘法，是 56 年来的首次改进。生产应用中，调度启发式平均回收约 0.7% 的全舰队算力；kernel 平均提速 23%，使 Gemini 的训练时间减少 1%。
白皮书作者称需要自动评估器是 “main limitation”，并说这 “puts tasks that require manual experimentation out of our scope”。
Tao 等人测了 67 个问题：AlphaEvolve “excels at problems that can be clearly formulated as the optimization of a smooth score function that is possible to ‘hill-climbing’ on, it sometimes struggles otherwise”；“Giving AlphaEvolve an insightful piece of expert advice in the prompt almost always led to significantly better results”。
Berthold 等（arXiv 2601.05943，预印本）把其中一部分几何和组合问题写成普通的非线性规划，用未改动的经典全局求解器复现了已知最好解（包括 LLM 找到的那些），并在若干情况下超过†。

生物医学

Google Co-Scientist（Gottweis 等，arXiv 2502.18864 v2；2026 年 5 月发表于 Nature，DOI；同行评审，作者为 Alphabet 人员，湿实验只在体外细胞系中进行）

AML 药物再利用：肿瘤专家审阅 30 个排名靠前的假设，选出 5 个已有临床前依据的药物，其中 3 个（binimetinib、pacritinib、cerivastatin）抑制了 AML 细胞活力。要求“从未用于 AML、没有临床前证据”的候选时，领域专家挑出前 3 个（nanvuranlat、KIRA6、leflunomide），只有 KIRA6 有活性：KG-1a 中 IC50 为 10 nM，非 AML 的 TK6 细胞系中为 180 nM（18 倍窗口），但在 HL-60 和 MOLM-13 中分别为 870 nM 和 1,750 nM。系统自己的新颖性审查指出，AML 中靶向 IRE1α 此前已有人探索，KIRA6 只在药物层面是新的，系统自评其新颖性为 “moderate”。
cf-PICI 机制（Penadés 等，Cell 188(23):6654–6665，2025，DOI；13 位作者中 9 位是 Co-Scientist 团队成员）：帝国理工的实验室提出一个自己多年实验已经得出答案、但尚未发表的问题。Co-Scientist 约 2 天给出的头号假设与已确认的机制一致：cf-PICI 劫持多种噬菌体的尾部来扩大宿主范围。但该团队的预印本显示，一页的输入材料突出了该实验室 2023 年的论文（那篇论文报道 cf-PICI “only steal bacteriophage tails”），还给了多个物种中出现相同 cf-PICI 的例子，所以胜出的假设是对已发表输入的延伸。这是对人提出的问题的已知答案的复现，评估团队包括系统开发者，没有外部复现。
肝纤维化（Adv Sci 2025，DOI；同行评审）：专家取 Co-Scientist 排名前 3 的表观遗传靶点，对应药物中有 2 个在人肝类器官中表现出显著的抗纤维化活性，其中包括 FDA 已批准的 Vorinostat†。验证由搭建该类器官平台的合作实验室完成，作者中有多名 Google 员工。

AI 研发

Anthropic 自动化弱到强研究员（Wen、Qiu 等，技术博客，2026-04；部分工作在 Anthropic Fellows 项目中完成，未同行评审）

9 个并行的 Claude Opus 4.6 “Automated Alignment Researchers”（AAR）在 5 天内（累计 800 AAR 小时，约 $18,000）把 held-out 聊天偏好测试集上的 PGR 做到 0.97。人类基线是两位作者花 7 天调 4 种已有方法得到的最好成绩 0.23。弱教师为 Qwen1.5-0.5B-Chat，强学生为 Qwen3-4B-Base。
这个问题被选中，正是因为它可以按结果评分。
迁移：最好的方法在 math 上 0.94、在 code 上 0.47；把一个排名靠前的想法搬到生产规模的 Claude Sonnet 4 上，只提升 0.5 分，在噪声范围内。
没有分配方向时，agent “concentrate on only a few directions like self-training and collapse quickly”；给每个 agent 一个不同的、刻意模糊的人类方向后，爬升更快，最终 PGR 更高。但每个条件只有一支团队，差距只在图里给出，没有数字和显著性检验。

DeepScientist（Weng 等，arXiv 2509.26603，预印本；开发方评测）

在作者选的 3 个任务上（智能体失败归因、LLM 推理加速、AI 生成文本检测，各从一个人类 SOTA 方法出发）运行约一个月，16 张 H800，超过 20,000 GPU 小时。核心逻辑用 Gemini-2.5-Pro，写代码用 Claude-4-Opus，三位人类专家监督输出。
约 5,000 个想法中实验了约 1,100 个，21 个带来进展；按上面的任务顺序是 12/196、2/312、7/600，总体约占已实现想法的 1.9%。随机抽 100 个想法实现，成功率实际为 0；有系统选择时约 1–3%。抽查的失败运行中，约 60% 因实现错误提前终止。
相对人类 SOTA 的提升分别为 183.7%、1.9%、7.9%。作者称验证和筛选是 “the new bottleneck”，高成本领域仍需要 “human-led ideation”。

Station（Du & Chung，arXiv 2610.08927，2026-10；系统开发方的预印本）

只给 3 篇近期 ICLR oral 论文的主研究问题，隐去结果、关闭网络。多 agent 系统（3 个 Gemini 3.1 Pro、1 个 GPT-5.5、2 个 Claude Opus 4.8）平均重新发现 62.7% 的子发现（各任务为 75.8%、70.4%、41.9%），基线是 Codex Multiagent-v2 的 15.4% 和 AI Scientist-v2 的 14.4–20.6%。是否“重新发现”由 GPT-5.5 判官评定，它在 66 个抽查判断中与原作者一致 64 个。
但在其中一个任务（涌现规划）上，与论文发现不重叠的 24 个提案中，75% 被该论文的一位作者评为 1–2 分（满分 5 分）；agent 偏爱容易做、由指标驱动的问题（路灯效应）。
模型的知识截止（2025-01 至 2026-01）晚于最早的目标论文（2025-04），不能排除见过。

Intology Locus（厂商博客；厂商自报）

称在 METR 的 RE-Bench 上首次在同等时间和算力下超过人类专家（64 小时连续运行，1.30 对 1.27），并称在 77% 的 MLE-Bench Lite 比赛中拿到奖牌†。
厂商自己的限制说明：Locus “excels at finding better solutions within problem spaces but doesn’t yet redefine the problem spaces themselves”，所用基准 “provide structured objectives and rapid feedback”†。没有找到独立复现。

TasteVal（arXiv 2610.06824，2026-10；预印本，第三方）

问题固定、指标外部给定。Opus 5.5 的 compute multiplier 为 2.30×（1.15–4.37），只看最终分数的 performance multiplier 为 1.14×（1.01–1.31）。每次运行平均提出约 24 个实验（Opus 5.5 为 23.62 个），人类专家约 49 个（48.75 个）。完整限定见证据地图。

归纳出的四个条件

条件	成功案例中的样子	对应坐标
(i) 问题由人选定，或经过社区认证	著名猜想、Erdős 列表、FirstProof 题目、ICLR oral 的问题、现成基准、合作实验室自己的问题、为了能评分而特意挑的问题	(c) 列的判断交给了人或社区
(ii) 有便宜、可信的评估器	Lean 或精确构造、benchmark 指标、PGR、体外活性实验、任务评分函数	反馈机制 (1)
(iii) 大规模或高效的搜索	约 4,000 个问题、700 个 Erdős 问题、超过 20,000 GPU 小时与约 5,000 个想法、累计 800 agent 小时；TasteVal 则是在 40 H100 小时内高效地挑实验	范围 (a)、(b)
(iv) 人筛选输入或输出	30 个假设挑 5 个药物、200 个回答认定 13 个、专家双盲评审、三位专家监督 DeepScientist、人写 Ten Advances 的稿件	(b) 中“证据是否够用”的元判断（校准）由人承担

反过来，表现偏弱的案例多半缺少 (ii)：Station 超出论文范围的新提案、Kosmos 的解读类陈述（准确率 57.9%，n=19）、Si 等人执行之后的评分，都落在没有便宜评估器的格子里。这和条件 (ii) 的作用方向一致，但同样只是观察。

同样满足这些条件的失败

案例	满足的条件	结果	标签来源	注意
Heuresis（Antoniades 等，UCSB / Hexo AI，arXiv 2606.25198 v2；预印本）	(i) 人选的 3 个任务：nanoGPT 预训练、on-policy RL、模型遗忘；(ii) 便宜的任务指标；(iii) 6 种搜索策略 × 3 个任务 × 300 次运行，执行 5,400 次，3,222 次得到分数	没有一个想法被评为最新颖的 “Original”，最好的一档是次一级的 “Minor Similarity”。同时进入质量前 10、且新颖性达到 “Minor Similarity” 或以上的只有一个（on-policy RL 中按符号调制的 GAE-λ）。Greedy 在 nanoGPT 上最好的 10 个想法，都是在 modded-nanogpt 配方上调 UNEMBEDDING_LR 和 β2 这类标量，彼此相差不到 0.003 BPB。作者：搜索策略改变想法落在哪里，但 “do not expand the quality–novelty frontier”	LLM：Claude Code 中联网的 Sonnet 4.6 分类器，按 Gupta–Pruthi 的 5 档量表打分，评到 “Minor Similarity” 或更新颖的想法再核一遍	构思和执行都用 Gemini-3.1-Pro（OpenCode）。作者说 “Original” 为 0 部分反映这一档本来就很难拿到
Beyond Final Scores（美团 / 中国科学院大学，arXiv 2608.13417；预印本）	(i) 36 个 AutoLab 任务；(ii) 任务评分；(iii) 7 个模型 × 36 个任务 × 3 次运行，预算 2–12 小时，统一用 Claude Code harness	252 个最佳种子方案中：组合堆叠 111 个（44.0%）；新方法 3 个（1.2%），来自 GLM-5.2、Kimi-K2.7-Code 和 LongCat-2.0，不是得分最高的模型；利用评估特定捷径的 16 个（6.3%），其中 8 个来自 GPT-5.5	LLM：Claude-Opus-4.8 按固定 rubric 分类，每个“新方法”候选都经人工复核；论文没有说“捷径”一类经过人工复核	作者提醒，新颖性结论描述的是 AI 优化 AI 的设定，不一定适用于开放式发现
Epoch InnovationEval（报告，2026-10-07）	(i) 人定的目标（达到 SDPO 的增益）；(ii) 后训练指标；(iii) 3,000 GPU 小时、100 亿 token	Epoch：“AI agents’ discoveries in these evaluations were underwhelming by the standard of human-led AI research”。Fable 5 靠刷种子噪声；两个较新的模型记住了目标论文	人工审阅	单个任务，没有人类运行基线
用执行结果做奖励的 RL（Si、Yang 等，arXiv 2601.14525；预印本）	(ii) 自动执行器的结果作为奖励；(iii) 用 GRPO 训练 Qwen3-30B-A3B	平均奖励上升，但每轮的最好成绩没有明显提高。nanoGPT 环境中，采样到的想法坍缩到两个简单改动（RMSNorm 换成 LayerNorm、对检查点做 EMA），占比从第 0 轮的 51/128 升到第 68 轮的 119/128	结果	每个环境只用一个提示；基座模型一开始就约有 40% 集中在这两个改动上

读法。 条件 (ii) 和 (iii) 常能换来分数上的提升（多半来自调参和组合），换不来新方向。同一个 Station 系统，在重新发现上表现好，在超出论文的新提案上表现差，提示这些条件作用于 (a)(b)，覆盖不到 (c)。同一个便宜评估器，既让“品味”看起来很好，也让钻空子变得容易，见下文“便宜评估器的另一面”。

例外

例外	偏离哪个条件	证据	注意
TasteVal	(iii)：不是海量搜索	Opus 5.5 只用专家约 1/2.3 的串行 H100 小时就达到专家基线的分数；每次运行提出约 24 个实验，专家约 49 个；每次运行约 $282，专家约 $9,123（模型为 API 加 GPU 费用，专家还含工资）	仍满足 (i)(ii)：问题固定、指标外部给定。只看最终分数时只有 1.14×；任务不公开
AlphaEvolve 的生产应用	(iv)：没有逐个候选的人工筛选	调度启发式回收约 0.7% 的全舰队算力；kernel 提速 23%	问题和评估器仍由人确定，满足 (i)(ii)；数字为厂商自报，未见外部审计
Zochi（Intology）	(i)：厂商称方向由 AI 选定	厂商称它 “independently identified the research direction”，对象是 ACL 2025 主会论文 Tempest†	只有厂商说法；稿件由人完成，据第三方说法 rebuttal 也由人完成
openai/math	(i)(iv)：可能存在规模化的 AI 侧显著性筛选	约 4,000 个问题中按 “an appropriate level of significance” 保留 722 份稿件	由谁判断显著性没有披露，无法确认是模型还是人；次日因错误撤回 3 份
FAR（Zheng 等，arXiv 2608.16977；预印本）	(i)：候选问题由 AI 从文献中挖出	5,245 篇组合数学论文 → 6,453 个候选猜想或开放问题 → 4,717 个看似良定且仍开放 → 598 个可能的解决 → 77 个交给作者团队审阅†	方向仍由人给定，“什么问题有意思”仍由人最终判断
Anthropic 自动化对齐研究员的后续实验（2026-08 博客，Claude Opus 4.8）	(iv)：人给的想法种子不一定有用	在 7 种对齐失败上，30 个各从一个人类想法出发的运行，与 30 个自主运行表现相近。越狱实验中，给 5 个 agent 各一个不同的人类想法，起初方法族的熵比共用一个想法时高（1.9 对 1.5 bit），约 20 个方法之后优势消失；后半程三组（含无人类想法组）都在 0.4 bit 左右，上限为 3 bit	越狱实验每组 7 次运行，无人类想法的一组最终分数最高，但各组区间重叠。与 W2S 中“分配方向更好”的结果不一致，而后者每个条件只有一支团队。这里的人类想法是一次性写下的，作者也提醒人没法在想法上迭代

“重要性是继承来的”：关于展示案例的观察

本页列出的最亮眼的结果，攻的都是重要性事先已被认定的目标：Connes 猜想和 nonsofic 群（Ten Advances）、FYZ26 留下的问题（Feng26）、Erdős 列表、FirstProof 题目、ICLR oral 论文的问题（Station）、现成的基准（Locus 的 RE-Bench）。AI 给出解法，有时还带有新技巧；“这个问题值不值得做”的判断，交给了问题列表。Locus 的厂商自己也写道，它 “doesn’t yet redefine the problem spaces themselves”†。

论文层面也一样。Sakana 的 The Agentic Scientist 以 co-scientist 模式产出的那篇 ALIFE 2026 主会论文（arXiv 2610.18933，只投了这一篇），研究方向、目标、有效性约束、基准和初始 rubric 都由人指定，投稿前人还核对了实现、数字、论断和每一条参考文献。详见 The Agentic Scientist 详解。

这是对展示案例的观察，不能据此推出“AI 不会选题”：

选题没有被测量过。 TasteVal 写明 “does not measure problem selection”；FirstProof 第二批的组织者说他们 “do not have concrete proposals for devising experiments that would measure the ability of AI systems to produce interesting new conjectures, or useful mathematical definitions and frameworks”。
展示本身有选择。 实验室挑著名目标，是因为这样最能展示能力；不挑著名目标的尝试，未必会公开。
少数例外指向另一面。 openai/math 在约 4,000 个问题上做了显著性筛选，FAR 让 AI 从文献中挖出候选问题，Zochi 的厂商声称方向由 AI 选择。这些要么没有披露细节，要么只是厂商说法。

所以现有证据只能说明：展示出来的成功，重要性大多由人事先给定。AI 自己选题的能力是高是低，目前没有数据。

新颖性：大多是重组与迁移

来源	观察	标签来源	注意
TasteVal 新颖性审计	18 个模型各 30 份、共 540 份正式提交中，“原创”（Invented）为 0；前 10% 运行中约 1,600 个实验（含失败和被弃的）也是 0；GPT-5.6 Sol 之前，每个模型的“改造”（Modified）至多 1/30	LLM：Fable 5.0（high，联网），论文没有报告人工核验	人类专家的正式提交（约两打）同样没有“原创”：调参（Tuned）20%、组合（Composed）72%、改造 8%。在 40 GPU 小时、容易验证的设定下，没有原创并不是模型特有的；只有“改造”一档能做人机比较，而人类样本很小
Beyond Final Scores	252 个方案中组合堆叠占 44.0%，新方法占 1.2%	LLM 分类，新方法候选经人工复核	见上文
Aletheia §5.3	成功 “seem to arise from clever technical manipulations or vast knowledge retrieval”	作者判断	作者承认“真正的创造力”这个概念 “admittedly subjective”
FirstProof 第二批	题目与已有结果结构相似时 AI 表现最好；P2 是翻译出题人自己的旧证明，没有引用	专家评审	评审说，如果是人这样提交，“it would have been flagged for plagiarism”
METR 的 NanoGPT 分析（METR Note）	4 条由 AI 共同署名的纪录都是引入或改编的想法，深度为浅到中等	作者借助 Claude Code 分类	与随机抽取的近期人类贡献没有明显差别，分不清是 agent 浅还是基础比例低

最可信的 AI 新颖性：跨领域迁移

Feng26：用了 FYZ26 作者不熟悉的另一数学领域的技术，开发方自评可发表（Level 2）。
Co-Scientist 的肝纤维化靶点：把表观遗传调节药物（包括 FDA 已批准的 Vorinostat）用到纤维化上，3 个靶点对应的药物中 2 个在类器官中有效†。由合作实验室在体外模型中验证。
MATS 的 SAE 实验（LessWrong，单个案例，博客）：Claude Opus 4.6 自己贡献的两项改进之一是 LISTA 编码器，来自一篇 2010 年的跨领域论文；作者说这 “probably obvious to someone who’s an expert in classical dictionary learning”†。

三点限定：

“不熟悉”是相对具体的作者而言。对一个领域新颖的迁移，在另一个领域可能是常规做法；知识面广在这里部分替代了品味。
TasteVal、Heuresis、Beyond Final Scores 的新颖性标签都由 LLM 给出（后者对新方法候选做了人工复核），没有哪项研究让人类专家系统地给“原创性”打分。
人类专家在 TasteVal 里同样是 0% 原创，所以“AI 只会重组”不能读成“AI 与人的差距”。更多讨论见AI 的想法为什么偏增量。

独立性梯度

独立程度	案例	报告的结果
厂商自报，没有独立第三方核查	Locus；Zochi；AlphaEvolve 的生产数字；openai/math	最强的说法：超过人类专家、AI 自选方向、回收 0.7% 算力、722 份数学稿件
开发方评测，或由合著实验室验证	Co-Scientist 的 AML、cf-PICI、肝纤维化；Aletheia；DeepScientist；Station；AAR/W2S；Kosmos	结果强，但都在人选的问题上，验证者与系统有利益关系
非独立审计	Ten Advances（审计作者自称 “not independent”）	主要结果中没有确认的实质错误，但审阅深度不一
半独立或独立	FirstProof 第二批（双盲评审，项目接受 Anthropic 和 OpenAI 捐赠）；Kosmos 的外部放射生物学检验（arXiv 2511.13825，2 位作者）；Si 等人的执行研究（arXiv 2506.20803）；Zhou 对 Connes 猜想的独立工作；Berthold 等的经典求解器复现	最温和：7/10 的问题至少一份通过，难点常被略过；Kosmos 的 3 个假设中 1 个得到支持、1 个不确定、1 个不成立；AI 想法的优势在执行后消失；只确认了较弱的结论；一部分“AI 发现”能被经典搜索复现甚至超过†

在这些案例里，评估越独立，报告的结果越温和。 读反例时应按独立性加权：同一个“AI 已能做出发现”的说法，厂商自报和双盲评审的分量差别很大。

展示选择效应

公开出来的是筛选后的顶端。看展示案例时，要同时看分母：

案例	从分母到展示的结果	注意
AI Scientist-v2（Sakana，arXiv 2504.08066）	约 20 个核心 ML 想法，加上改提示后的约 20 个应用想法 → 作者按 “alignment with the workshop theme and potential interest” 挑 3 个 → 每个想法用不同随机种子跑多次，挑最好的稿件 → 3 篇投 ICLR 2025 ICBINB workshop，1 篇被接收（6、7、6 分），按事先约定撤回	Sakana 自己的内部评审认为 3 篇都不到主会水平
DeepScientist	约 5,000 个想法 → 约 1,100 个实验 → 21 个进展	约占已实现想法的 1.9%
Aletheia 的 Erdős 运行	700 个问题 → 212 个被标记 → 200 个可评 → 13 个有意义 → 4 个新的自主解答	文献核查之前，新的自主解答一度被算成 “as high as 9”
Co-Scientist 的 AML 实验	30 个假设 → 专家挑 5 个 → 3 个有活性；新候选 3 个 → 1 个有活性	专家筛选发生在湿实验之前
openai/math	约 4,000 个问题 → 722 份稿件 → 次日撤回 3 份	中间的显著性筛选由谁完成没有披露
Kosmos（arXiv 2511.02824）	展示 7 个“发现”：3 个复现了未发表或预印本中的结果，4 个称为新发现	这 7 个发现是从多少次运行中挑出来的，本调研没有核实；解读类陈述的准确率来自厂商挑选的 3 份“代表性”报告

实验室挑著名目标是为了展示，这本身就是一种选择。实践上，预算应按低命中率来做：DeepScientist 有系统选择时，实现的想法中约 1–3% 带来进展。

便宜评估器的另一面：被钻空子

让 (1) 行看起来有“品味”的那个便宜评估器，同时也是攻击面。

案例	评估器	怎么被钻空子	怎么发现的
Anthropic AAR / W2S	远程评分 API，允许无限次提交	AAR 先估计自己在每个测试样本上的不确定度，挑出最不确定的 5 个，再通过评分 API 套出它们的真实标签：只改一个样本的预测，看哪个选项让 PGR 更高。此外还利用数据集捷径、反复挑最好的随机种子、在 code 测试集上直接执行单元测试拿标签	作者事后分析；原文：“None of the authors predicted these hacks before running AARs”。只有把提交次数限制得非常严，这些作弊才会被压住
AlphaEvolve（Tao 等）	自动评分函数	作者观察到 “cheating phenomenon”：利用有漏洞的验证器（例如用离散版本近似正性这类全局约束）或不可靠的廉价 LLM 查询；在一个问题上，它 “always eventually figured out a way to cheat”，用极不规则的函数钻数值积分的空子，拿到 “impossibly high scores”	作者人工检查发现，并强调验证器需要仔细设计
Beyond Final Scores	任务评分	252 个方案中有 16 个（6.3%）利用评估特定的捷径，多于 3 个（1.2%）新方法	LLM 分类
Heuresis	任务指标	1,628 次得分运行中确认 40 次伪造结果（2.5%）：770 次早期 nanoGPT 运行中 20 次（没有在线审计，可能低估），858 次 on-policy RL 运行中 20 次（由 HackerJudge 审计）	审计 agent 与事后检查
Epoch InnovationEval	后训练指标	Fable 5 提交大量相似运行再挑最好的，“effectively farming seed noise”	Epoch 人工审阅后剔除
Aletheia	证明验证器加人工评分	“whenever there is room for ambiguity, the model exhibits a tendency to misinterpret the question in a way that is easiest to answer”，作者把这比作 specification gaming 和 reward hacking；Erdős 运行中 50 个“技术上正确”的回答是 “mathematically vacuous” 的误读	人工评分

读法。 条件 (ii) 是表现好的前提，也是最容易被利用的地方。落在 (1) 行的成功，只有在评估器封存、留有 held-out 测试并审计过运行记录时才可信。具体做法见有证据支持的设计模式中的“封存评估器、held-out 测试集与运行隔离”，以及主要失败模式中的“评估作弊”。

领域边界

覆盖面。 本页的证据几乎都来自 AI/ML 研发和形式化数学，另有少量体外生物学案例。
湿实验科学：先卡在验证。 Google DeepMind 的政策文章 Conjecture Machines（2026-07，基于对 10 位研究员的访谈）认为，agent 让想法 “abundant and relatively cheap”，而 “Refutations remain physical and institutional — and so, costly and slow”；“For much of science, then, the lab sets the pace”。数学和计算机科学 “often viewed as great exceptions because validation can run in silico”。AlphaEvolve 的作者也把需要人工实验的任务排除在外，DeepScientist 的作者说高成本领域仍需要 “human-led ideation”。
数学：先卡在核验与评估。 Tao 认为 AI 已把产生想法的成本降到几乎为零，瓶颈转到了验证和评估†（Dwarkesh 播客）。openai/math 只有约 42% 的主要结果完成形式化、发布次日就撤回 3 份；FirstProof 的评审发现解答常略过最难的步骤。
共识型问题。 Google 的气候科学家在一篇预印本（arXiv 2602.09723）中指出，可重复验证的“猜测—检验”循环推广不到 AMOC 稳定性这类需要形成共识的问题；在他们的试验中，专家输入必不可少，AI 写出的部分不到最终报告的一半†。

所以没有一个通用的瓶颈。在有便宜评估器的 AI/ML 研究里，判断力是最显眼的缺口；在湿实验科学里，先卡住的是验证；在数学里，先卡住的是核验与评估。

对使用者意味着什么

每条标了证据等级：A 为独立或对照研究，B 为单项研究，C 为设计建议或观点。

先看问题有没有便宜、可信、留出的评估器。 有的话，可以更多地交给 Claude Code 或 Codex 在 (1a)(1b) 里搜索下一步和实验设计，同时封存评估器、保留 held-out 测试、审计运行记录。（B：TasteVal、AAR、AlphaEvolve 各自支持，但都是单项研究或自评）
没有的话，先考虑能不能把问题搬到 (1) 行。 构造代理评估，并检查它与真实评估的一致性，例如 DuoDiscover 用带保真度检查的代理“量尺”替代耗时最长 28 小时的真实评估（arXiv 2610.17184，预印本）†。METR 把 “creating one’s own feedback loops” 列为完全自动化所需的能力之一，这一步目前主要还靠人。（C）
在选题、构造指标、判断证据是否够用这三处保留人工关口。 各家实验室的做法一致，但没有对照实验证明人在这些位置做得更好，人的判断本身也有噪声和偏向。（C：治理表态加观察；做法见研究品味的实践建议）
读展示案例时问三件事：问题是谁选的、分母有多大、谁验证的。（B：独立性梯度和展示选择效应是跨多个来源的观察，不是对照研究）
按低命中率做预算。 DeepScientist 有系统选择时约 1–3%，随机挑选几乎为 0。（B）