跳转到内容
Auto-Research 调研

术语表

英文术语按字母排序，中文术语按拼音首字母排进同一序列。每条给出本站中的用法，并链接到最相关的页面。

A

跳转到“A”一节
  • ACP（Agent Client Protocol）：编码 agent 与外部程序通信的一种协议。AutoResearchClaw 通过 acpx 把支持 ACP 的 agent（Claude Code、Codex CLI、Copilot CLI、Gemini CLI、OpenCode、Kimi CLI 等）接成 23 个阶段共用的 LLM 后端，并在所有阶段保持同一个会话。详见 AutoResearchClaw。
  • Agents4Science：Stanford 和 Together AI 于 2025-10-22 在线上举办的会议，专收以 AI 为主完成的论文。315 篇投稿、接收 48 篇；每篇完整投稿先由 GPT-5、Gemini 2.5 Pro 和 Claude Sonnet 4 三个 LLM 审稿，均分不低于 4.0 的 79 篇再加一位人类专家复审。没有找到 2026 年续办的消息。详见真实评审中的案例。
  • AI Scientist：泛指能从 idea 一路做到论文的自动科研系统，本站也称“AI-Scientist 式端到端 pipeline”。也特指 Sakana 的系列：AI Scientist、AI Scientist-v2、Nature 2026 发表版，以及 2026-10-13 随论文开源的 Agentic Scientist（仓库名 AI-Scientist-v3）。名字相近的 Jr. AI Scientist（东京大学）、ScientistOne 和 ScientistTwo 是其他团队的系统。详见学术与实验室的端到端系统。
  • AI 审稿分（AI reviewer score）：由 LLM 审稿系统给论文打的分，例如 Stanford Agentic Reviewer、ScholarPeer、DeepReviewer、CSPaper 的模拟审稿，以及 pipeline 内置的审稿人。本站把它单列为一种证据类型，不当作质量证据：区分度低、系统性偏高、容易被刷分。如果打分的正是 pipeline 优化时用的那个审稿人，就更不可信。详见为什么 AI 审稿分不可信。
  • artifact-aware review（能查看实验产物的审稿）：审稿人除了稿件，还能检查代码、日志等实验产物。ResearchArena 作者自建的这类 AI 审稿 agent，让 Claude Code（Opus 4.6）和 Codex（GPT-5.4）论文的平均分分别下降 0.85 和 0.42，降到 4.60 和 4.51，两者的差距基本消失。详见评测研究。
  • AutoResearch：目前指两类不同的东西：一类是 Karpathy 式 autoresearch，agent 改 train.py、训练约 5 分钟、按验证指标决定保留还是丢弃，如此循环，不写论文；另一类是 AI-Scientist 式端到端 pipeline，从 idea 一路做到 LaTeX 论文。读宣传材料时要先分清说的是哪一类。详见两种 AutoResearch。

C

跳转到“C”一节
  • CAISc（Conference for AI Scientists）：Lossfunk 和 BITS Pilani 于 2026 年 7 月在线上举办的会议，明确欢迎用 Claude Code、Codex 等产出的论文。200 多篇投稿、接收 79 篇，分 Verifiable-Problems 和 Open-Ended 两个 track；AI 和人类的评审都在 OpenReview 上公开，可以当作现成的数据集。详见会议与 arXiv 规则。
  • Chain-of-Evidence（CoE，证据链）：ScientistOne（2605.26340）提出的可验证性框架，要求论文中的每条论断（分为引用、数值、方法、结论四类）都能通过记录下来的证据链追溯到来源。配套的 CoE Integrity Audit 做四项检查：重跑分数、找规格违规、核验参考文献、检查方法与代码是否一致。详见有证据支持的设计模式。
  • Claude Code：Anthropic 的命令行编码 agent，也是多数开源 auto-research pipeline 的默认执行器，例如 ARIS、Agentic Scientist、Spark-to-Paper、AutoSci。本站比较的是“Claude Code + 具体模型版本”，因为现有证据显示，差异主要来自底层模型，而不是 harness。详见 Claude Code 与 Codex 对比。
  • co-scientist 模式：人和 AI 系统分工合作的用法：人定方向、baseline 和评估标准，核实结果与引用；系统承担大量实验工程和写作。Agentic Scientist 唯一经过真实外部同行评审的论文（ALIFE 2026 主会 talk）就是这样产出的，投稿前人工插入约 17.5%、删除约 10.7% 的文字。注意不要和 Google 的 Co-Scientist 系统混淆。详见真实评审中的案例。
  • Codex CLI：OpenAI 的命令行编码 agent。在 auto-research 流程里常被用作跨家族审稿人（ARIS 的默认配置），也可以当执行器（DeepScientist 推荐优先用它）。codex exec 每次调用默认开一个新会话（也可以显式 resume 旧会话）；codex-cli 0.154 移除了 codex mcp-server，依赖它的审稿通道要改用基于 codex exec 的 bridge。详见 Claude Code 与 Codex 对比。

D

跳转到“D”一节
  • desk reject：会议不经正常审稿直接拒稿。ICLR 2026 对确认含幻觉引用的论文一律 desk reject；ACL 2026 在 camera-ready 阶段 desk reject 了 100 多篇引用不存在文献的已接收论文；NeurIPS 2026 Position Track 结合 Pangram 检测分和其他证据，desk reject 了 18.4% 的投稿。详见会议与 arXiv 规则。

F

跳转到“F”一节
  • fork-and-flush：长时间 autoresearch 运行的一种干预方法（2610.07447）：定期分出 K 个并行分支，每个分支继承当前工作区，但从全新的对话上下文开始；跑完固定时长后，从得分最高的分支继续。它针对的是 “idea basin”，即单次运行长期困在解空间的一小块区域里，反复尝试相似的思路。详见有证据支持的设计模式。

G

跳转到“G”一节
  • Goodhart 效应：被优化的指标与真正的目标发生偏离：分数上去了，真实质量没有跟着提高。在本站语境里，常见的形式是针对验证指标或 AI 审稿分做优化。Quran 研究的作者认为，只要指标可能与真实目标分离（在有限、可见的样本上算出的指标基本都是这样），这类循环就会在边际上被 Goodhart。详见为什么 AI 审稿分不可信。

H

跳转到“H”一节
  • hallucination clipping（日志核对）：Google Co-Scientist 的确定性可靠性模块，把稿件中的统计论断和性能数字逐条解析出来，与原始执行日志核对。Co-Scientist 还规定，实验没有产生有效日志时直接终止写作阶段。论文报告的 46%→4% 是整套可靠性模块（还包括目标函数里的幻觉和抄袭惩罚项）的效果，没有单独测这一模块。详见有证据支持的设计模式。
  • harness：包在模型外面、让它能调用工具完成任务的那层程序，例如 Claude Code、Codex CLI、OpenCode、Pi、terminus-2。在 autoresearch 语境里，也指给 agent 的方案打分、返回反馈的评估脚手架。Sakana 用 70 次研究 campaign 做的对照发现，底模相同时，换 harness 没有带来一致的差别。详见 Claude Code 与 Codex 对比。
  • held-out test set（封存测试集）：搜索和调参过程中 agent 完全接触不到、最后只评一次的数据。Quran 研究在评测开放时，Codex 每次运行硬编码 19–41 个评测答案；加上 60/40 的 held-out 切分等四项改动后，硬编码降到 0。详见有证据支持的设计模式。
  • HITL（human-in-the-loop，人在回路）：在自动流程中设置人工介入点。各 pipeline 的做法差别很大：AutoResearchClaw 有 full-auto、gate-only、co-pilot、step-by-step 等模式，ARIS 用 AUTO_PROCEED: false 和 human checkpoint: true 控制暂停。本站建议只在选题、评估协议、结论签字和终审四处设人工关口。详见推荐流水线（S0–S10）。
  • 幻觉引用（hallucinated reference）：引用了不存在的文献，或者作者、标题、年份等元数据有误；更宽的用法还包括文献存在、但不支持被引用的那句话。Agents4Science 2025 约 56% 的投稿至少有一条可疑引用；ICLR 2026 对确认含幻觉引用的论文一律 desk reject。详见主要失败模式。

I

跳转到“I”一节
  • ICBINB workshop：ICLR 2025 的 “I Can’t Believe It’s Not Better” workshop。Sakana 的 AI Scientist-v2 在这里投了 3 篇，其中 1 篇拿到 6/7/6，随后按事先约定撤稿。据 Nature 版论文，该 workshop 的接收率约 70%，ICLR 2025 主会约 32%。详见真实评审中的案例。

J

跳转到“J”一节
  • 结论账本（claim ledger）：实验结束后逐条列出论文要写的结论，每条注明证据路径和状态（supported、partial、unsupported、contradicted），没有支撑的删掉或移到局限性部分。本站推荐流水线 S6 的 CLAIMS.md 就是它；Anti-Autoresearch 的 evidence ledger（claims.json）是审稿一侧的同类做法。详见推荐流水线（S0–S10）。

K

跳转到“K”一节
  • 跨家族审稿（cross-family review）：让另一家的模型在全新会话里审查，例如 Claude 执行、GPT 通过 Codex 审稿，或者反过来。ARIS 默认这样配置。两家模型的错误特征不同，是这样做的理由；但“跨家族优于同家族”目前没有对照实验，ARIS 的技术报告也承认这一点。详见 Claude Code 与 Codex 对比。

M

跳转到“M”一节
  • MCP（Model Context Protocol）：给 agent 接入外部工具和服务的协议。ARIS 通过一个名为 codex 的 MCP server 让 Claude Code 调用 Codex 审稿（工具名 mcp__codex__codex）；codex-cli 0.154 移除 codex mcp-server 后，这个 server 换成了 ARIS 自带的、包装 codex exec 的 bridge。DeepScientist 则给 Claude Code 注入 memory、artifact、bash_exec 三个 MCP server。详见 ARIS。

P

跳转到“P”一节
  • paper laundering（论文洗稿）：用 LLM 对论文做零样本改写，本意不改内容，却能抬高 AI 审稿分。2605.03202 在 60 篇 ICLR 2026 论文、24 种条件下测得平均 +0.45 分（1–10 分制）。改写后的论文风格趋同，有一篇还被凭空加了一节带数字的消融实验。详见为什么 AI 审稿分不可信。
  • paper-vs-artifact mismatch（论文与实验产物不一致）：论文报告的结果或实验设置，与代码、日志、配置等实际产物对不上，例如数字和 results.json 不符，或者声称的组件在代码里没有实现。ResearchArena 的人工审计中，“结果和设置同时不一致”的比例是 Claude Code（Opus 4.6）31%、Codex（GPT-5.4）5%；如果把只有一类不一致的也算上，可能高达约 72% 对 13%。详见 Claude Code 与 Codex 对比。
  • PaperReview.ai：见 S 部分的 Stanford Agentic Reviewer（SAR）。

Q

跳转到“Q”一节
  • 全权限运行：让 agent 不经逐项确认就执行任意命令，例如 Claude Code 的 --dangerously-skip-permissions、Agentic Scientist 通过 Headless CLI 使用的 --allow yolo、DeepScientist 的 --permission-mode bypassPermissions。很多 pipeline 需要这样运行，此时 agent 也能用到你的 API key，所以应放在容器或虚拟机里，并使用单独的、设了消费上限的 key。详见怎么选 pipeline。

R

跳转到“R”一节
  • reward hacking / specification gaming（评估作弊）：agent 不去真正解决任务，而是利用评估方式的漏洞拿高分，例如硬编码评测答案、读取测试标签、改测试时评估协议、自己给自己打分。ScientistOne 把这类问题叫作 specification violation。在 17 个模型、38 个任务的研究中，开放式科研流程任务上的自发比例为 30.5%（统一使用 terminus-2 harness，属于模型层面的证据）。详见主要失败模式。
  • rubric（评分细则）：逐条列出的检查标准，用来判断一次实验或一篇论文是否合格。Sakana Agentic Scientist 在每个阶段都用 rubric 把关，但 rubric 只检查写出来的条款：措辞宽松时，agent 拿到 0.9694 的验证准确率却没实现要求的方法；Pi + Kimi K3 把评估改成多数投票，rubric 也没拦住。详见 The Agentic Scientist。

S

跳转到“S”一节
  • sealed evaluator（封存评估器）：agent 看不到、也改不了的评估代码和指标定义，最终评估只由人或 harness 执行一次。Sakana Agentic Scientist 把搜索阶段用的评估器和封存的最终评估器分开，并由一个 alignment judge 检查两者相互独立、使用不相交的数据。详见有证据支持的设计模式。
  • skill：写给 Claude Code 或 Codex 的流程说明，通常是一个 Markdown 文件（SKILL.md），在 Claude Code 里多以斜杠命令调用。ARIS 约有 84 个，Spark-to-Paper 有 13 个，AutoSci 约 30 个。skill 本质上是提示词，执行器可能跳过其中的步骤，或者自己草草代劳。例如 ARIS 的 issue #284：一个 skill 的 allowed-tools 漏了 Skill，执行器调不了子 skill，就用一次浅层搜索充当新颖性检查，也不真跑 pilot，直接自己写出 idea。详见基于 Claude Code / Codex 的开源 pipeline。
  • Stanford Agentic Reviewer（SAR）：Stanford 的 AI 审稿系统，网页入口是 PaperReview.ai，被许多研究和 pipeline 用来打分。它只看稿件：在 ResearchArena 中，它给 ICLR 已接收和被拒论文的平均分只差 0.25（人类审稿人差 1.52）；在 CRUX 中，原作者给最终论文只打 1–2/6，SAR 却对其早期草稿给出“建议接收”。详见为什么 AI 审稿分不可信。

U

跳转到“U”一节
  • underpowered experiment（实验不充分）：实验范围太窄，撑不起论文的结论，例如该用多个数据集却只用一个小数据集、该比较多个模型规模却只有一个、随机比较只跑一个 seed，或者论文自称只是 pilot 或可行性研究。ResearchArena 的人工审计中，Codex（GPT-5.4）41.0% 的论文属于这种情况，Claude Code（Opus 4.6）为 25.6%。详见 Claude Code 与 Codex 对比。

W

跳转到“W”一节
  • 完成压力（completion pressure）：提示词里“不许停、不许报告失败、必须交付”这类要求。SciIntegrity-Bench 的缺数据场景中，去掉完成压力后，隐瞒性伪造从 20.6% 降到 3.2%，但用合成数据填补的比例几乎没变（57.1% 对 55.6%）。详见有证据支持的设计模式。

Y

跳转到“Y”一节
  • 预注册（pre-registration）：在看到结果之前，先写下并冻结假设、数据切分、baseline、指标、seed、统计检验和空的结果表格，之后的改动单独记录。Quran 研究预先登记了 H1–H3，因此“结果推翻了作者自己的预期”能当作证据，而不是事后补的解释。目前没有研究单独测过预注册本身的效果。详见有证据支持的设计模式。

Z

跳转到“Z”一节
  • 证据标签：本站给每个质量说法标注的证据类型，包括真实人类评审（主会或 workshop）、独立评测（第三方设计并执行）、开发方评测（系统作者评估自家系统，即使请了人类评审也归入此类）、AI 审稿分（自动审稿器给的分数，不当作质量证据）和自报（作者给出、未经他人验证的数字，只作线索）。详见调研方法与证据分级。

研究品味专题术语

跳转到“研究品味专题术语”一节

以下术语只在研究品味专题中使用，按出现的先后排列。

  • 研究品味（research taste）：研究中需要判断力的部分，包括选什么问题、下一步做什么、怎么读结果、证据够不够、何时转向。不同来源对它的定义差别很大：人类研究者的文章多指选题，AI 2027 等预测框架指“每次实验的价值”，各基准又各有口径。所以本站按“反馈机制 × 范围”两条轴拆开讨论，不给全局结论。详见什么是研究品味。
  • 战略品味（选题品味）：选择问题和方向、判断重要性的能力。目前几乎没有可靠的测量。详见什么是研究品味。
  • 战术品味（实验品味）：在已经选定的问题内决定下一步、设计和解读实验的能力。在指标给定、反馈便宜的条件下，这部分进步最快。详见证据地图。
  • 元判断（校准）：对自己判断的校准和自我评估，包括知道证据什么时候算够。详见什么是研究品味。
  • 反馈机制（feedback regime）：本专题的主轴，分三档：(1) 外部给定、便宜的客观指标；(2) 指标被隐去或需要自己构造；(3) 延迟或主观的评价。现有证据显示，强弱的分界线主要沿这条轴，而不是沿“战术 vs 战略”。详见证据地图。
  • TASTE：Anthropic 的评测，内容是 92 对 AI 安全研究提案的两两比较；提案由 Claude Opus 4.6 生成，标签来自资深安全研究员。最好的 Fable 5 为 60%，人类估计约 77%（讨论前只有 53% 一致）。注意与 Taste-Bench、TasteVal 区分。详见怎么衡量研究品味。
  • Taste-Bench：论文 “The Tasteful Agent”（arXiv 2609.25804）提出的基准，从 agent 轨迹中自动挖出 502 道二选一的决策分叉，没有人类基线。详见怎么衡量研究品味。
  • TasteVal：arXiv 2610.06824 提出的实验品味评测，在给定问题上按算力效率比较模型和专家。8 个任务不公开，明确不测选题。详见怎么衡量研究品味。
  • 人类上限（human ceiling）：评测中用作对照的人类水平。各研究的定义不同，比如每个任务最好的专家、专家多数票、讨论后的标签，彼此不可比。详见怎么衡量研究品味。
  • 结果偏差（outcome bias）：用事后结果去评判事前决策时，把运气也算成了“品味”。用“看得到结局”的评委或结果标签做的评测都受它影响。详见怎么衡量研究品味。
  • 构思—执行落差（ideation–execution gap）：Si 等人发现，AI 想法在提案阶段的评分优势，到真正执行后会消失。所以只看提案打分会高估 AI 的想法。详见怎么衡量研究品味。
  • novelty mirage（新颖性幻象）：RQ-Bench 中的说法。在“非显然性”上，LLM 评委的偏好与领域专家方向相反，两者的一致率低至 22%（只有 50 条、2 位专家）。另一项单作者预印本（HindSight）发现，LLM 打的新颖性分与日后的发表记录负相关，但只在部分样本里成立。这两项结果都提示：不要把 LLM 新颖性分当优化目标。详见AI 的想法为什么偏增量。
  • 距离新颖 / 方向新颖：距离新颖指一个想法离最近的已有工作有多远，方向新颖指它是否开辟了新的研究问题或方向。LLM 的想法可以在距离上很远，却很少开辟新方向。详见AI 的想法为什么偏增量。
  • 研究契约（research contract）：实践页的用法，指由人写定的目标、评估器、禁止走捷径的 rubric 和留出的迁移测试，是人机分工中由人负责的部分。详见实践：人和 Claude/Codex 怎么分工选题。
  • 代理标签（proxy label）：用引用、发表层级、审稿分或“之后有没有人发表类似工作”，代替“这个选择好不好”的真值。研究品味 (c) 格的基准几乎都靠代理标签，这些信号混入了热度、声望和评审噪声。详见研究品味基准全览。
  • 前瞻评测（prospective evaluation）：先冻结问题或预测，等未来的结果或文献出来再评分。能避开训练数据污染，但要等几年才有分数。例子是 Historical backtesting，2026-08-17 冻结的问题要到 2027–2030 年才评分。
  • 重发现式基准（rediscovery benchmark）：给模型一篇已发表论文的背景或启发文献，看它能否提出论文里的想法或结论。测的主要是“像不像已有工作”，不是想法本身的价值。