开放问题：哪些新证据会改变这些结论

怎么用这一页

本专题的核心判断大致有三点，详见概览：

问题已经给定、评价信号便宜且由外部提供时，前沿模型的实验决策效率已在个别基准上超过（不许用 AI 的）专家基线。
一旦需要自己构造评价标准、在稀疏或延迟的反馈下取舍，或者判断问题之间谁更重要，证据显示模型明显偏弱。
后一部分本身缺乏可靠的测量，人类之间的一致性也很低。

下面每一项指标都对应其中某一点的薄弱环节，格式统一为：

看什么：什么样的新证据算数。
为什么重要：它会改变哪条结论，往哪个方向改。
现状：截至 2026-10-15。
去哪查：原始来源，只列本调研核实过的链接。

术语沿用本专题的两条轴：反馈机制 (1) 外部给定、便宜的客观指标，(2) 指标被隐去或需要自己构造，(3) 延迟或主观的评价；范围 (a) 问题内的下一步，(b) 实验设计与证据门槛，(c) 选题与方向。逐格的证据见证据地图。

一览表

#	指标	可能改变的结论	现状（2026-10-15）
1	TASTE 对 Opus 5.5、Fable 5.1 及之后模型的结果	选题层面 (3)×(c) 的能力水平和趋势	只有一个快照，这两个模型没测
2	TasteVal 任务公开或独立复现	(1)×(a) 上“超过专家基线”是否成立	8 个私有任务，单一小机构
3	METR 对 Anthropic AI 研发加速的评估	限制加速的是判断力还是算力	已预告，尚未发布
4	前瞻性的选题基准	选题品味能不能被测量	天文学试点，2027–2030 年计分
5	Taste-Bench 的人类基线	延迟反馈下的问题内决策差，是模型缺陷还是本来就无法预判	没有
6	半人马研究（人 + AI 对 AI 单独）	实践页的分工建议	没有
7	base / SFT / RL 消融：研究雄心	“后训练让模型保守”的说法	没有对照研究
8	经过验证的方向新颖性指标	“AI 的想法很少开辟新方向”的证据强度	定量证据主要靠未经验证的代理
9	信息 vs 判断的实验	差距在信息还是在判断	没有专门实验
10	学到的品味模型能否泛化到方向级决策	“品味可以训练”能延伸多远	只在短视程任务上显示过
11	跨领域证据	“品味是更深的瓶颈”适用的范围	主要是 ML 和形式化数学

主要测量的模型覆盖缺口

跨基准比较时，常常比的是不同的模型。下表只列对本页指标有影响的缺口：

测量	测了什么模型（摘要）	关键缺口
TASTE（2026-08）	Fable 5、Kimi K3、Grok 4.5、Opus 5、GPT-5.6-Sol、Gemini 3.1 Pro 等	没有 Opus 5.5、Fable 5.1
TasteVal（2026-10）	20 个模型，包括 Opus 5.5、Fable 5.1	Fable 5.0 因多数任务拒答没被评测；Opus 5.5 和 Fable 5.1 各拒答 1 个任务
Anthropic“下一步”评估	正文只给出 Opus 4.5（51%）和 Mythos Preview（64%）两个数字	作为趋势只有两个公开的点；评委是看得到结局的 Claude
Ideation Arena（2026-08）	最新到 GPT-5.1、Claude 4.5	没有 2026 年的前沿模型
Bao & Evans（6,749 名科学家）	26 个 2024–25 年的模型	没有 Claude，也没有 2026 年的前沿模型

除了 Epoch 研究设计任务（1 个任务、1 位评分者，覆盖 Fable 5.1 和 GPT-6 Astra），本调研没有找到针对 Opus 5.5、Fable 5.1 或 GPT-6 Astra 的人类评分构想研究。

指标详情

指标 1：TASTE 对 Opus 5.5、Fable 5.1 及之后模型的结果

看什么：Anthropic 发布 TASTE 在新模型上的分数；或者 TASTE 扩展到 AI 安全以外的提案、非 Claude 生成的提案、更多标注者。
为什么重要：在选题层面 (3)×(c)，TASTE 是本调研找到的、直接拿 2026 年前沿模型对照 AI 安全研究员偏好的主要测量。本调研没有找到战略品味（选题品味）的趋势数据，TASTE 只是一个快照，所以既不能说它停滞，也不能说它在进步。如果新模型稳定地超过 60%、接近估计的 77% 人类一致率，“选题由人负责”这条默认就要重新审视；如果仍在随机附近，而 TasteVal 继续上升，“两类品味走势不同”的判断会更有把握。
现状：2026-08-28 发布（Anthropic Fellows，博客 + 论文，未经同行评审）。92 对 AI 安全研究提案，全部由 Opus 4.6 生成，10 位研究员标注。Fable 5（max effort）60%（low effort 48%），Kimi K3 59%，Grok 4.5 58%，Opus 5 51%，GPT-5.6-Sol 48%，Gemini 3.1 Pro 41%；每个模型的置信区间约 ±10 个百分点，几乎都在随机水平 2 个标准差以内。人类一致率在讨论和筛选前只有约 53%，筛选后估计为 77%。另有未经核实的说法称 TASTE 中的 Fable 5 是带防护措施、可能回退到 Opus 模型的配置，这是否影响 AI 研发品味的测量尚不清楚。
去哪查：TASTE 博客；Anthropic 新模型的 system card。

指标 2：TasteVal 任务公开或独立复现

看什么：任务公开；第三方在公开任务上复现；同行评审结果；允许专家用 AI 辅助的基线；对调参（Tuned）、组合（Composed）、改造（Modified）、原创（Invented）标签的人工核验。
为什么重要：(1)×(a) 格子里“接近或超过专家”的判断，几乎只靠这一个基准。它来自单一小机构（由 Coefficient Giving 资助），任务私有，结果无法独立核查。AI Futures Project 在 2026-08 根据它的初步结果调高了“自动化研究品味”的参数，所以那不能当作独立佐证。
现状：arXiv 2610.06824 v2（2026-10-06），预印本。
- Opus 5.5（max）的计算乘数为 2.30（95% CI 1.15–4.37），是经由 Opus 5.0（max）的参照链接回专家单位的，不是直接与专家比；按最终分数算的性能乘数只有 1.14（CI 1.01–1.31）。
- Fable 5.1 为 1.72（CI 0.75–3.70），在共同的 7 个任务上为 1.68（CI 0.76–3.81），区间都包含 1。
- 计算乘数自 2025-12 起每 3.0 个月翻倍（CI 1.7–5.0），此前约 14 个月；最终分数没有趋势断点，每 14.6 个月翻倍（CI 8.4–29.8）。这只适用于单 GPU、容易验证的任务；作者说把结果代入 AI Futures 模型得到的推算 “not forecasts”；它也不能外推到选题。
- 隐去评分函数的变体只做了 4 个任务，乘数降到约一半，但不显著。
- 新颖性标签全部由 LLM（Fable 5.0）打，没有人工核验；专家的提交同样没有原创类。
去哪查：arXiv 2610.06824（留意版本记录）。

指标 3：METR 对 Anthropic AI 研发加速的评估

看什么：METR 发布它在 Opus 5.5 评估中预告的、对 Anthropic 内部 AI 研发加速的单独评估。
为什么重要：要把两个问题分开。什么阻碍完全自动化？METR、Anthropic、OpenAI 都指向判断力或品味。什么限制加速的速度？实验室都提到算力。前者是本专题的主题，后者决定“品味是瓶颈”在多大程度上影响整体进展。一份独立的加速评估可以检验这两者的相对分量。
现状：
- METR 2026-09-22 的 Opus 5.5 评估引用了另一个 METR 团队的初步报告：约 1.5 倍的整体能力加速（2 倍的可能性约 30%），没有说明对应哪个时间段。METR 说这项单独调查会在 “the coming weeks” 有进一步的公开成果。截至 2026-10-15，本调研没有找到。
- Anthropic 在 Mythos Preview system card 里估计，员工自报约 4 倍的生产力提升只对应不到 2 倍的整体进展；METR 后来认为这些自报 “may have been overestimated”。Anthropic 还告诉 METR，人力翻倍约带来 1.15–1.3 倍的产出，4 倍人力约 1.7 倍。
- Google DeepMind 在 Gemini 4 Argon 安全报告中，对内部能力指数 GCI 做分段线性（hinge）回归，2026-04-01 前后的斜率差异不显著（厂商自报）。
- Whitfill & Wu（预印本）用四家实验室共 27 个“公司-年”观测拟合 CES 生产函数，两种设定给出相反的结论。算力和研究人力（想法）谁限制 AI 研发，在实证上没有定论。
去哪查：METR 的 Opus 5.5 评估；Mythos Preview system card；Gemini 4 Argon 安全报告；arXiv 2507.23181。

指标 4：前瞻性的选题基准

看什么：先冻结研究问题、之后用真实发展来打分的基准，并且有人类基线。
为什么重要：本调研没有找到以真实结果为标签、前瞻地测“挑哪个问题”的基准。TasteVal 明确写了 “TasteVal does not measure problem selection”；FirstProof 第二批的组织者说他们 “do not have concrete proposals for devising experiments that would measure the ability of AI systems to produce interesting new conjectures, or useful mathematical definitions and frameworks”；TASTE 用的是专家偏好而不是结果；时间切片类基准用“后来被社区跟进”当作重要性的代理。没有这样的基准，“重要性是继承来的，所以 AI 选不出重要问题”和它的反面都无法检验。
现状：历史回测（预印本）在天文学上做了试点：4 个截断点，798 个被评判的问题；2026-08-17 冻结的 200 个问题将在 2027–2030 年计分。试点也暴露了标注难题：两位盲审人类标注者的一致性 kappa 只有 0.17，五个评判模型与专业标注者 0.17–0.26，前沿模型彼此之间却有 0.60（90 个条目）。用模型之间的一致性去认证 LLM 评委，会把可靠性高估约 3 倍。
补充（2026-10-16）：按时间切分的回溯式基准已有不少，如 RAP、IdeaForecastBench、CUSP，见研究品味基准全览。但它们的标签是“社区后来做了什么”或“里程碑是否实现”，不是“这个问题是否重要”，也大多没有人类基线。
去哪查：arXiv 2608.16795 的后续版本；FirstProof 第二批。

指标 5：Taste-Bench 的人类基线

看什么：人类专家在同一组决策分叉上的成绩，同样要求两种选项顺序都答对。
为什么重要：Taste-Bench 显示，需要后续大量工作才能判断的分叉上，14 个模型平均只有 21.0%（随机 25%；这一档 n=69，平均值含小模型，最好的 Grok 4.5 为 36.2%）。没有人类基线，就分不清这是模型的缺陷，还是事前本来就无法判断（不可约的不确定性）；也不能说“训练过的预测器胜过专家”。它的标签来自运行中实际记录的结果，可能混入 seed 噪声，是结果偏差（outcome bias）的一种来源。
现状：arXiv 2609.25804 v2（2026-09），预印本。502 个分叉（390 个工程、112 个研究）。两位审核者抽查 100 题，170/172 个判断与标签一致，这验证的是标签，不是人类表现；没有人类表现基线。最好的 GPT-5.6 Sol 平均 59.7%；研究子集上 Claude Opus 5 最好，64.3%。从最低到最高推理强度，只测了两个模型，变化为 −0.2 和 +2.2 个百分点，置信区间都包含 0。
去哪查：arXiv 2609.25804。

指标 6：半人马研究，人 + AI 对 AI 单独

看什么：在品味任务（选题、实验设计、何时停）上比较人 + Claude/Codex、AI 单独、人单独三组；最好盲评，并做执行后的复评。
为什么重要：实践页的分工建议是没有对照支持的默认（C 级）。TasteVal 的专家基线不许用 AI 做实验设计和解读，所以“模型超过专家”不等于“模型超过会用 AI 的专家”。反过来，如果人 + AI 在选题上明显胜过 AI 单独，“选题由人负责”就从治理选择变成有证据的做法。
现状：
- 本调研没有找到用 Claude 或 Codex 做研究构想的盲法 RCT。最接近的是 SciΠvot：可以借助 agent 助手的研究者（73.4%）胜过所有单独作答的模型，但没有不带助手的人类对照（2026-10-16 补充）。
- HCI 研究样本小（N=18–54，每次 20–30 分钟），主要靠自评。
- AutoResearchClaw 的人机协作消融用脚本模拟人；论文没写明质量分由谁打，很可能来自系统自带的 LLM 质量门。
- Si et al. 的“人工重排胜过 LLM 排序”只有一个人、49 个想法。
- 曾被广泛引用的“AI 出想法 + 专家判断”生产力研究（Toner-Rodgers）已被 arXiv 撤下，理由是数据有效性存疑、IRB 伦理审查手续不完整，不应再引用。
去哪查：arXiv、CHI/CSCW 等会议。可以参考 Si et al. 的两阶段协议：构想研究和执行研究。

指标 7：base / SFT / RL 消融，研究雄心

看什么：同一模型族的 base、SFT、RLHF/RLVR 检查点，在固定提示和固定评估下，比较研究想法的雄心和方向新颖性。
为什么重要：“后训练让 agent 变得保守”是流行的解释，但本调研没有找到直接检验它的研究。Karpathy 的原话是 “half capability issue and half skill issue”，他在那个讨论串里的四条评论都没有提 RLHF，是二手报道把 RLHF 的归因安到了他头上；Opus 5.5 system card 说它 “prefers less ambitious hypotheses”，但没有给出原因。如果后训练是主因，改进路线是训练；如果主要是能力或脚手架，路线就不同。
现状：本调研没有找到对照研究。
- 最强的因果数据范围很窄：单提示的 GRPO 让 nanoGPT 环境里 128 个采样想法中属于两个简单想法的从 51 个升到 119 个，而 base 模型一开始就约 40% 集中在这两个想法上。
- 非科研证据显示后训练会降低输出多样性，例如 base 模型在大 k 的 pass@k 上胜过 RLVR 模型；但这些研究都没有直接测研究假设的雄心。
- AI Night-Scientist（预印本）报告，用创造力奖励做定向 RL 让研究方向的范围 +27.8%，单纯提高温度做不到；评估用的是代理指标。
去哪查：Karpathy 的 HN 评论；arXiv 2601.14525、2609.35706、2504.13837 及其后续。

指标 8：经过验证的方向新颖性指标

看什么：用专家对“是否开辟了新方向”的判断，去验证嵌入类代理（如 ONS）和 LLM 新颖性标签；对 TasteVal、Beyond Final Scores、Heuresis 中的 LLM 新颖性标签做人工核验。
为什么重要：“AI 的想法很少开辟新方向”的定量证据，目前主要靠未经验证的代理（另有 system card 里内部用户和审阅者的定性报告）：
- SPECTER2 嵌入上的正交新颖性分数（Liu et al.，作者自己说低 ONS 不能证明一个想法不原创）；
- LLM 标注（Tang & Yang：只有 10.5% 的想法提出了种子论文里没有的研究问题）；
- LLM 分类器（TasteVal 的 0 个原创，标注者是 Fable 5.0；Heuresis 的 0 个 “Original”，标注者是 Sonnet 4.6；Beyond Final Scores 由 Opus 4.8 分类，新方法候选经人工复核）。
Schaeffer et al. 的再分析还显示，嵌入相似度阈值会夸大同质性。如果验证后发现这些代理和专家判断对不上，AI 的想法为什么偏增量一页的不少结论都要降级。
现状：本调研没有找到验证研究。
去哪查：arXiv 2610.17439、2605.27905、2609.33936 的后续。

指标 9：信息 vs 判断的实验

看什么：给模型和人同样的信息，包括实验室内部的失败记录和未发表的负面结果，再看品味差距还剩多少。
为什么重要：人类评审和实验室研究员掌握论文里没有的隐性知识；TASTE 研究员之间的分歧，有一部分就在于“技术实际上效果如何”。如果差距主要在信息，补救是数据接入，这也是实践页建议 9 的依据；如果主要在判断，就需要别的办法。
现状：本调研没有找到专门的实验。间接证据有两条：Priced Guidance（预印本，87 篇论文，LLM 评判）估计前沿模型需要约 56–70 bits 的引导，才能还原一篇未来论文的核心想法；AlphaEvolve 的数学研究中，提示里的一条专家建议 “almost always led to significantly better results”。反方向的证据是：把一位研究者的品味写成知识图谱交给 agent（kkanbu），改变了它去哪里找，却没有改变分数。
去哪查：arXiv 2610.04976；arXiv 2511.02864；arXiv 2608.07542。

指标 10：学到的品味模型能否泛化到方向级决策

看什么：在短视程结果上训练的判别器，包括 hindsight 蒸馏、研究偏好模型、用专家评分训练的奖励模型和 PHD，能否在方向级的选择上前瞻地胜过人或随机挑选。
为什么重要：“可以训练”已经在短视程任务上显示过，但这不等于前沿模型已经具备，也不等于能用到几个月尺度的方向选择上。零样本的前沿模型在这类任务上表现平平：Wen et al. 中 o3 与随机相当，Meta 的研究偏好模型工作中前沿模型挑出更好候选的比例为 64.66–67.44%（随机 50%）。
现状：
- Taste-Bench 的蒸馏只在 390 个工程分叉上训练和测试（留出分叉上从 30.0% 升到 47.9%），112 个研究分叉没有用于蒸馏。
- SciJudge 在领域内引用对上 82.7%，主题匹配后约 63%；它同时被用作奖励和评测指标，有循环优化的风险。
- Wen et al. 的预测器测的是“哪个想法在基准上更好”，不是“哪个问题重要”。
- PHD 每位研究者只用 15 次两两比较学个人偏好，真实被试只有 7 人。
- 本调研没有找到前瞻性研究把判别器挑出的想法真正执行，再与人挑、随机挑做比较。
去哪查：arXiv 2609.25804、2603.14473、2506.00794、2608.13940、2610.19719。方法综述见提升研究品味的方法与证据。

指标 11：跨领域证据

看什么：ML/AI 以外的领域（湿实验、社科、数学、工程设计）中的品味测量，尤其是有结果标签和人类基线的。
为什么重要：本专题“品味是更深的瓶颈”的判断，主要针对 AI/ML 研究，部分涉及形式化数学。别的领域给出的瓶颈不同：Google DeepMind 的 Conjecture Machines 认为多数学科里 “the lab sets the pace”，瓶颈在验证；Tao 认为数学的新瓶颈是验证和评估；FormalTCS 和 “The Problem Is the Problem” 认为是选题和自动形式化。
现状：
- 大样本的例外是 Bao & Evans（生物、医学、化学、社科，6,749 名科学家），但生成模型是 2024–25 年的。
- CUSP 覆盖 8 个学科，模型判断“某个里程碑会不会按期实现”接近随机（GPT-5.4 49.1%），还低于一律答“否”的 57.03%。
- Google Co-Scientist 的湿实验验证都有合作实验室参与，没有找到独立复现。
去哪查：Conjecture Machines；arXiv 2606.08251；arXiv 2605.22681；arXiv 2608.16977。

其他值得留意的信号

对最新模型的人类评分构想研究：除了 Epoch 研究设计任务这一项小规模评分，本调研没有找到覆盖 Opus 5.5、Fable 5.1、GPT-6 Astra 的研究（见上文覆盖缺口表）。
Anthropic“下一步”评估的独立复现：现有数字由一个看得到结局的 Claude 评委给出，129 个时刻专门挑在人“有改进空间”的地方，任务以调试类为主；在人本来就做得好的 127 个时刻上，模型建议被判更好的只有约 20%。需要人类评委、不挑样本的复现。
安全防护和拒答的影响：Fable 5.0 拒答了多数 TasteVal 任务而没被评测，却被用作 TasteVal 的新颖性标注者。这类配置差异可能扭曲 Fable 与 Opus 在 AI 研发品味上的比较。
openai/math 的显著性筛选：约 4,000 个问题的产出里哪些被保留，由 “an appropriate level of significance” 决定，谁来判断没有披露。据本调研所知，这是目前唯一大规模运行、可能由 AI 承担的显著性筛选；如果披露细节，会是选题品味少有的直接证据。
小型的战略品味测量：TastyBench（LessWrong，2025-12-02；38 篇论文，以引用速度为真值；Sonnet 4.5、Gemini 2.5 Pro、GPT 5.1 都差不多差；没有人类基线），以及 Trehan & Chopra 的 “Eliciting Research Taste … Future Research Direction Choice”（COLM 2026 LM4Sci workshop，见 OpenReview，没有 arXiv 版本；80 对、来自 19 篇论文；两种顺序都选作者推荐的方向才算一致，一致率 45.0%–67.5%，随机为 25%；10 人试点中 61.1% 选了作者的方向，但只看一种顺序；实践页引用的预印本 2601.03315 同样署名 Trehan & Chopra，但不是这一篇）。扩大样本并加入人类基线后会很有用。注意它们与 TASTE、Taste-Bench、TasteVal 名字相近，测的东西不同。
预印本的评审和修订：本专题大量引用 2026 年 9–10 月的预印本，被接收、修订或撤回都可能改变结论。已有的例子：Artificial Hivemind v2 在受到批评后软化了结论；openai/math 发布次日撤回 3 篇稿件。

给 AI/ML 研究者的研究方向

下面的方向都能用现有工具、在一个小组的规模内启动。每项列出起点和需要避开的坑。这些是本调研的建议，不是已有结论。

#	方向	最小可行设计	起点	需要避开的坑
1	方向级的前瞻基准	冻结一批本领域的开放问题和候选方向，定好计分时间表，几年后用真实发展打分	历史回测协议（2608.16795）；Taste-Bench 的分叉挖掘方法	先让人类在结局分类上达到可用的一致性（试点 kappa 只有 0.17）；不要用模型之间的一致性来认证评委
2	半人马对照	同一批研究者随机分到“用 Claude/Codex 构想”和“不用”两组，盲评提案，再抽一部分执行后复评	Si et al. 的两阶段协议：每个条件 49 个想法、79 位评审；43 人各执行 100 多小时	提案阶段的评分到执行后可能反转（Si et al. 中均值反转，但以想法为单位不显著），所以要做执行后的复评；评审之间只有 56.1% 一致，需要足够多的评审
3	配平调参预算与评估视程	在 Heuresis 或 When AI Designs AI 那样的任务上，系统地改变 pilot 预算和调参次数，比较新机制与调好的已知配方	Heuresis（2606.25198）；When AI Designs AI（2608.17471）	新颖性标签不要只靠 LLM；报告 seed 方差
4	方向新颖性指标的验证	收集专家对“是否开辟新方向”的标注，检验 ONS、研究问题新颖性等代理	Liu et al.（2610.17439）；Tang & Yang（2605.27905）	分清“距离”（离最近的论文多远）和“方向”（是否沿着新的轴）
5	信息 vs 判断	TASTE 式的两两比较，加一个“提供实验室内部失败记录”的条件，模型和人类各做一遍	TASTE 的设计；Priced Guidance 的引导计价方法	控制提示长度；两种选项顺序都要测；报告平局怎么算
6	后训练对研究雄心的影响	用同时公开了 base 和后训练检查点的模型族，固定提示和评估，测方向新颖性和假设的雄心	Si, Yang et al.（2601.14525）；非科研的多样性研究	单提示 RL 的结论不能直接推广；base 模型本身可能已经集中
7	证据门槛与何时停（元判断）	构造一批任务，有的植入了 bug、有的是真死路，测 agent 能否区分“实现错了”和“方向错了”、会不会重跑 seed、何时放弃	CRUX 列出的五种失败模式；TasteVal 运行记录中“很少重跑 seed”的发现	把战术层的放弃（换做法）和战略层的缩小范围分开计
8	个人化与规范性品味	测量研究者之间的偏好分歧结构，区分可学习的判断和应由人保留的价值选择	PHD（2610.19719）；“personalized auto-research” 立场论文（2608.14881）	样本小；用户参与度不等于研究结果
9	评估器博弈	为廉价评估器设计保真度检查，同时测“品味”和“钻空子”两个方向	DuoDiscover（2610.17184）的代理评估器加保真度检查	廉价评估器让品味可测，也让钻空子更容易：W2S 中 agent 通过评分 API 拿到测试标签；Beyond Final Scores 中钻空子的方案（16/252）多于新方法（3/252）；Heuresis 在 1,628 次有分数的运行中确认了 40 次结果伪造
10	开放模型上的公开复现	在公开任务上复现 TasteVal 式的实验品味测量，用开放权重模型，让任何人都能核查	TasteVal 的 Researcher/Coder 分工设计	拒答和安全防护会影响可评测的模型集合，要单独报告

维护规则：什么情况下更新本专题

本专题按事件更新，不按固定周期。出现下列任一情况，就回到原始来源重新核对，并修订相关页面：

上面 11 项指标中任何一项有了新数据。
Anthropic、OpenAI、Google DeepMind 发布新的 system card 或安全报告，其中有关于 AI 研发判断力或品味的新表述、新评测。
METR 或 Epoch AI 发布新的 AI 研发评估。
本专题引用的预印本被接收、修订、撤回或出现勘误。优先复查发布不足 30 天的来源：TasteVal、Epoch 的 InnovationEval 和自动化报告、openai/math、Station、Gemini 4 Argon 安全报告。
模型改名或换代（例如 Fable 5 和 5.1、Mythos Preview 和 5.1、GPT-5.6 Sol 和 GPT-6 Astra），导致跨来源比较的对象变了。
实践页用到的工具默认值变了，例如 ARIS 的 AUTO_PROCEED 和 pilot 预算，或 Agentic Scientist 的研究契约格式。

更新时的做法：

每个数字写明测的是什么、哪些模型、n、人类对照怎么定义、标签来源（人、LLM 还是结果）、证据类型，必要时写明是否独立。
记录来源的版本和访问日期。
读厂商文件时记住它们的写作背景：品味相关的判断常出现在 AI 研发风险阈值的论证里（例如 Anthropic 的 RSP、OpenAI 的 Preparedness 框架），说“模型缺乏品味”的文件同时在论证风险低于阈值；展示能力的文件则常带宣传目的。“人仍然负责定方向”描述的是治理做法，不是能力测量。
二手报道（包括中文报道）只作线索，引用前回到原始来源。
在本站的更新记录中登记改动。