AutoResearchClaw

时效说明

本页内容截至 2026-10-15。模型名照原始来源的写法，“自报”指系统作者给出的数字，“开发方评测”指作者评估自家系统，“独立评测”指第三方评测。分级说明见调研方法与证据分级。

本页的 issue 状态和提交记录为 2026-10-15 抓取；仓库最近一次提交在 2026-08-19。

一句话定位

AutoResearchClaw 是 UNC Chapel Hill AIMING Lab 做的一个独立 Python 状态机，命令行工具叫 researchclaw。它把一句话的研究题目依次推过 23 个阶段，直到产出 LaTeX 论文，宣传语是 “Chat an Idea. Get a Paper.”。它的人机协作模式在同类里最全；Claude Code 和 Codex 在这里只是可插拔的后端，不负责主控。

基本信息

项目	内容
仓库	aiming-lab/AutoResearchClaw
许可证	MIT
论文	Liu、Qiu 等，AutoResearchClaw: Self-Reinforcing Autonomous Research with Human-AI Collaboration，arXiv:2605.20025（v2，2026-05-23）
GitHub star（2026-10-15）	14,665
创建时间	2026-03-15，同一天发布 v0.1.0
最近提交	2026-08-19（合并社区 PR，恢复 v0.5.0 squash 时丢掉的修复）。截至 2026-10-15，近两个月没有新提交
维护者	UNC Chapel Hill AIMING Lab（Huaxiu Yao），论文合作者来自 UCSC、CMU、Stanford、Meta、Google、Salesforce 等
其他	共 303 个 commit。3 月 15 日到 23 日密集发布了 v0.1.0 至 v0.3.2 共 5 个版本，之后是 v0.4.0（04-01）和 v0.5.0（05-20）。issue 共 167 个，162 个已关闭、5 个 open。自建基准 ARC-Bench 发布在 Hugging Face（AIMING-Lab-UNC/ARC-Bench）

架构与阶段

23 个阶段分成 8 组，其中第 5、9、20 阶段是人工关口：

阶段组	阶段	要点
A 选题	1 TOPIC_INIT、2 PROBLEM_DECOMPOSE	把题目拆成带研究问题的问题树
B 文献	3 SEARCH_STRATEGY、4 LITERATURE_COLLECT、5 LITERATURE_SCREEN（关口）、6 KNOWLEDGE_EXTRACT	第 4 阶段依次真实调用 OpenAlex、Semantic Scholar、arXiv 的 API
C 综合	7 SYNTHESIS、8 HYPOTHESIS_GEN	第 8 阶段由 innovator、pragmatist、contrarian 三个 agent 辩论出假设
D 设计	9 EXPERIMENT_DESIGN（关口）、10 CODE_GENERATION、11 RESOURCE_PLANNING	第 10 阶段用 CodeAgent v2；复杂实验交给 OpenCode “beast mode” 或外部 CLI agent
E 执行	12 EXPERIMENT_RUN、13 ITERATIVE_REFINE	实验在 sandbox、Docker、SSH 远程机或 Claude Code agent 里运行；第 13 阶段自愈，最多 10 轮
F 分析	14 RESULT_ANALYSIS、15 RESEARCH_DECISION	第 14 阶段由第二个辩论组分析结果；第 15 阶段决定 PROCEED、REFINE（回到第 13 阶段）或 PIVOT（回到第 8 阶段）
G 写作	16 PAPER_OUTLINE、17 PAPER_DRAFT、18 PEER_REVIEW、19 PAPER_REVISION	初稿 5,000–6,500 词；第 18 阶段是模拟审稿，检查方法与证据是否一致
H 定稿	20 QUALITY_GATE（关口）、21 KNOWLEDGE_ARCHIVE、22 EXPORT_PUBLISH、23 CITATION_VERIFY	导出 NeurIPS、ICLR、ICML 模板的 LaTeX，最后核验引用

贯穿各阶段的机制：

• VerifiedRegistry：论文里的数字必须能追溯到真实测量，没有核验过的数字会被清掉。
• Sentinel watchdog：在后台检查 NaN/Inf、论文与证据是否一致、引用是否相关。
• 4 层引用核验：arXiv ID → CrossRef / DataCite DOI → Semantic Scholar 标题匹配 → LLM 相关性打分，查不到的引用自动删除。
• 经验积累：每次 run 把失败整理成教训（evolution/ 目录）；启用可选的 MetaClaw 集成后，教训会变成后续 run 可复用的 skill。默认存储是否真的跨 run，见下文 #330。
• 其他：分支探索；领域实验 agent，包括 HEP 的 ColliderAgent、基于 COBRApy 的系统生物学和统计；v0.5.0 还加了基于 Qiskit 的量子计算 skill。

产出放在 artifacts/rc-YYYYMMDD-HHMMSS-<hash>/deliverables/ 下，包括 paper.tex、references.bib、verification_report.json、charts/、reviews.md 和实验代码。

Claude Code 与 Codex 的角色

两者都是可选的。默认的示例配置用的是普通 OpenAI 兼容 API（主模型 gpt-4o），既不是 Claude Code 也不是 Codex。接入方式有下面几种：

接入方式	怎么配置	说明
全部 23 个阶段的 LLM 后端（ACP）	llm.provider: "acp"，llm.acp.agent 设为 "claude" 或 "codex"	通过 acpx 在各阶段之间保持一个持久会话，用 agent 自己的登录，README 说不需要 API key。旧的 600 秒超时导致过 #124，建议把 llm.acp.timeout_sec 设到 3600 左右
第 10、13 阶段的代码生成后端	experiment.cli_agent.provider 设为 "claude_code" 或 "codex"（默认是 "llm"）	claude_code 调用 claude -p，认证用 ANTHROPIC_AUTH_TOKEN 和 ANTHROPIC_BASE_URL；codex 调用 codex exec，认证用 OPENAI_API_KEY。每次调用默认上限 5 美元（max_budget_usd）、600 秒
实验 agent	experiment.mode: "agentic"	在 Docker 里启动 Claude Code，带 shell 权限、网络全开，每个会话 30 分钟、最多 50 轮
领域 agent	experiment.mode 设为 collider_agent、biology_agent 或 stat_agent	挂载对应领域的 skill，用 Claude Code 运行
操作员	Claude Code 读仓库里的 RESEARCHCLAW_CLAUDE.md 或 .claude/skills/	由 Claude Code 自己去调用 researchclaw 命令行

• 论文里，所有框架都用 GPT-5.3-codex 作底模；ARC-Bench 的两个 LLM 评委分别是 Claude Code 子 agent（Opus 4.7）和 Codex CLI agent（GPT-5.4）。
• 仓库的 config.py 还支持独立的审稿和评委模型（llm.reviewer_model、reviewer_provider 等，例如 GPT 生成、Claude 审稿），以及可选的多模型辩论和 best-of-N 锦标赛。这些在 README 里还没有写。

总之，Claude Code 和 Codex 在这里是被一个固定的 23 阶段状态机调用的子进程。换成哪一个，都不改变流程本身。

安装与运行

命令未经本站运行

以下命令摘自项目 README 和 GitHub issue（2026-10-15 的版本），我们没有实际运行过。

# 1. Clone & install
git clone https://github.com/aiming-lab/AutoResearchClaw.git
cd AutoResearchClaw
python3 -m venv .venv && source .venv/bin/activate
pip install -e .

# 2. Setup (interactive — installs OpenCode beast mode, checks Docker/LaTeX)
researchclaw setup

# 3. Configure
researchclaw init          # Interactive: choose LLM provider, creates config.arc.yaml

# 4. Run
export OPENAI_API_KEY="sk-..."
researchclaw run --config config.arc.yaml --topic "Your research idea" --auto-approve

--auto-approve 会跳过全部人工关口，也就是全自动模式。想在关键节点介入，用 co-pilot 模式：

researchclaw run --topic "Your research idea here" --mode co-pilot

暂停中的 run 可以从另一个终端控制：

# Attach to a paused pipeline (from another terminal)
researchclaw attach artifacts/rc-2026-xxx

# Check pipeline and HITL status
researchclaw status artifacts/rc-2026-xxx

# Approve/reject from another terminal or script
researchclaw approve artifacts/rc-2026-xxx --message "LGTM"
researchclaw reject artifacts/rc-2026-xxx --reason "Missing key baseline"

# Inject guidance for a stage (even before it runs)
researchclaw guide artifacts/rc-2026-xxx --stage 9 --message "Use ResNet-50 as primary baseline"

续跑时，稳妥的做法是用 --output 显式指定旧的 run 目录。issue #119 报告过不指定就会新开一个 run；该 issue 已关闭，下面是其中的变通写法：

researchclaw run --resume --output artifacts/rc-YYYYMMDD-HHMMSS-XXXXXX/

一定要显式设置 experiment.mode

配置里没有 experiment.mode 时，代码默认用 simulated：不跑任何实验，直接按公式（0.3 + idx * 0.03）生成指标。写作阶段有一道硬拦截，全部实验数据都是模拟数据时拒绝起草论文；但题目里只要出现 survey、review、meta-analysis 这类词（或项目设为 docs-first 模式），就会被当成文献类题目，跳过这道拦截。README 的最小配置示例写的是 sandbox，风险在于自己写或删减配置时漏掉这一项。请显式设为 sandbox、docker、ssh_remote 或 agentic。

下面是按 README 和仓库 config.py 的字段拼出来的示意配置，不是 README 原文，也没有运行过：

llm:
  provider: "acp"
  acp:
    agent: "claude"          # 或 "codex"
    cwd: "."
    timeout_sec: 3600        # 见 issue #124
experiment:
  mode: "sandbox"            # 必须显式设置；缺省时为 simulated
  time_budget_sec: 300       # 每次实验运行的时间上限，默认 300 秒
  cli_agent:
    provider: "claude_code"  # 或 "codex"；默认 "llm"
hitl:
  enabled: true
  mode: co-pilot
  cost_budget_usd: 50.0      # 0 表示不设上限

其他配置要点：

• export.target_conference 可选 neurips_2025、iclr_2026、icml_2026。
• 设置 GITHUB_TOKEN 可以消掉代码搜索时的 401 警告；S2_API_KEY 和 TAVILY_API_KEY 可选。
• 除了命令行，还可以用 Python API（researchclaw.pipeline.Runner）或 OpenClaw 聊天来启动。

人工检查点与自主模式

第 5、9、20 阶段是关口，会暂停等人批准。被拒绝时回滚：5 → 4、9 → 8、20 → 16。--auto-approve 跳过所有关口。

v0.4.0（2026-04-01）起加入了人机协作（HITL）系统。README 列出的模式如下：

模式	参数	什么时候停下来
Full Auto	--auto-approve	从不停下，即原始行为
Gate Only	--mode gate-only	第 5、9、20 阶段三个关口
Checkpoint	--mode checkpoint	8 个阶段组的边界
Co-Pilot	--mode co-pilot	在第 7–8 阶段（Idea Workshop）、第 9 阶段（Baseline Navigator）、第 16–17 阶段（Paper Co-Writer）深度协作；其余阶段自动执行，由 SmartPause 监控
Step-by-Step	--mode step-by-step	每个阶段之后
Express	--mode express	只在 3 个最关键的关口
Custom	--mode custom	用 stage_policies 按阶段配置

其他控制手段：

• SmartPause：根据系统自己的置信度，决定要不要停下来问人。
• ALHF：从你的干预中学习，调整之后的暂停时机。
• 成本护栏：用 hitl.cost_budget_usd 设预算，在预算的 50%、80%、100% 处提醒，超出时暂停。
• 升级通知：无人值守时，按终端 → Slack → 邮件 → 自动停止的顺序升级。
• 接口：CLI、WebSocket、MCP 三种 adapter。
• HITL 默认关闭：没有 hitl.enabled: true 也没有 --mode 时，行为和加入 HITL 之前一样；--auto-approve 优先于 HITL 模式。

论文比较过这些模式的效果（干预由脚本模拟，打分的是系统自带的质量门），见下文“质量证据”。要注意，gate-only 的三个关口是文献筛选、实验设计和终审质量门，与推荐流水线里由人把关的选题（S1）、预注册（S2）和终审（S10）并不对应。

成本与算力

项目	数字	出处
LLM 费用	每次运行约 3–15 美元	论文的伦理声明（自报）
运行时间	showcase 的 8 篇论文每篇约 50 分钟到 6.8 小时，合计约 27 小时	README showcase（自报）
实验预算	每次实验运行默认 300 秒（experiment.time_budget_sec），最多 10 轮迭代（experiment.max_iterations）	默认配置
CLI agent 代码生成	每次调用默认上限 5 美元、600 秒	config.py 默认值
ACP 超时	当前代码默认 1800 秒	config.py 默认值
硬件	GPU 可选（自动检测 CUDA、Apple MPS 或 CPU），Docker 也可选。ARC-Bench 的题目特意选成单 CPU 核 10 分钟内能跑完	README、论文

• 费用付给你配置的 LLM 供应商；ACP 模式用 agent 自己的订阅登录。
• HEP 模式的 MadGraph 计算用云服务 Magnus。

质量证据

证据强度：弱。 作者自己的评测主要由 LLM 打分（ARC-Bench 只有留出的一小部分有人类专家评分），任务是 CPU 上 10 分钟内能跑完的小题，也没有报告任何会议投稿或真实人类评审的结果。第三方证据很少，总体不利：ResearchFlow-Eval（单任务、单次运行）里，它生成的代码直接崩溃，9 个系统里得分最低；另一套系统 ScientistOne 的作者在自己的对比中重跑它的结果，主结果只有 5/12 能复现。

作者做了几组不同的评测，下面分开列，不要混在一起读。

ARC-Bench：只比实验阶段（开发方评测）

25 个 ML 题目，每题都能在单 CPU 核上 10 分钟内跑完。只评实验阶段，按代码开发、代码执行、结果分析三项打分，权重 25:25:50。所有框架都用 GPT-5.3-codex 作底模。评委是两个 LLM agent：Claude Code 子 agent（Opus 4.7）和 Codex CLI agent（GPT-5.4）；人类专家只按同样标准评了留出的一部分。论文说明，文中所有人机协作实验的“人工干预”都是脚本模拟的。

框架	代码开发	代码执行	结果分析	严格总分
AutoResearchClaw（co-pilot）	0.968	0.578	0.523	0.648
AutoResearchClaw（全自动）	0.938	0.562	0.442	0.596
AIDE-ML	0.958	0.415	0.336	0.511
AI Scientist v2	0.712	0.442	0.261	0.419

另有一组科学领域扩展（生物、统计、HEP 共 20 题）：co-pilot 总分 0.867，两个 baseline 分别为 0.090 和 0.084。差距主要因为 baseline 装不上领域软件，在生物和 HEP 上记了 0 分。

端到端人机协作消融：自家质量门打分（开发方评测）

这是另一组实验：取 ARC-Bench 中的 10 个题目，每种模式各跑一次，从题目一直做到论文。它的分数和上面的实验阶段严格分不是一回事，不能放在一起比。论文质量按 1–10 打分，“accept” 指分数 ≥5。表里没写打分者，但论文的案例研究把同样的分数称为系统内部 Stage-20 质量门的分数，也就是 pipeline 自带的 LLM 质量门。所以这里的 “accept” 不是任何会议的接收，“人工干预”也是脚本模拟的。

模式	有效运行	平均质量	“accept”（≥5）	干预次数
Full-Auto	8/10	4.03	25.0%	0
Gate-Only	10/10	5.03	50.0%	3
CoPilot	8/10	7.27	87.5%	6
Thorough	7/10	4.86	42.9%	8
Step-by-Step	10/10	5.19	50.0%	23
Pre-Experiment	8/10	4.28	37.5%	3
Post-Experiment	6/10	5.08	50.0%	3

• CoPilot 的 87.5% 是 8 个有效运行中的 7 个，按 10 个题目算是 7/10；Full-Auto 的 25% 是 8 个中的 2 个。
• 论文正文和表格对干预次数的说法不一致：正文说 CoPilot 19 次、Step-by-Step 29 次，表格里是 6 次和 23 次。
• 作者的结论是：在少数关键节点介入（CoPilot），比全自动和每步审批都好。方向上可以参考，但只有 10 个题目，打分的又是系统自己。

组件消融（开发方评测，伪造由人工审计判定）

同样 10 个题目、全自动模式，每个配置跑 3 次取最好的一次：

• 去掉 VerifiedRegistry 后，“accept” 从 3/10 升到 5/10，但这 5 篇里有 3 篇含有在任何测量记录里都找不到的数值。作者据此认为，核验登记表能拦住编造的数字。
• 去掉多 agent 辩论，平均质量从 5.62 降到 4.25（p = 0.003），“accept” 从 3/10 降到 1/10。
• 去掉自愈机制，完成率从 10/10 降到 6/10。

论文自己的案例（题目 T10）也说明了数值核验的局限：全自动模式下，8 种交叉验证策略全都输出相同的零偏差结果，实验在语义上已经塌缩；但这些零值确实是测出来的，所以照样通过了数值核验门。

第三方证据

证据	类型	结果	要注意的地方
ResearchFlow-Eval（arXiv:2610.18088）	独立评测	总分 18.6，9 个系统里最低。生成的代码缺 import，在做任何科学尝试之前就崩溃了	单任务（以 NeurIPS 2025 的皮层内运动解码论文 SPINT 为锚点，共 10 条必需结论），每个系统只跑一次；用的是 AutoResearchClaw 0.5.0 + GPT-5.5。同为 GPT-5.5 的原生 Codex 得 45.1
ScientistOne 论文中的对比审计（arXiv:2605.26340）	独立评测（由另一套系统 ScientistOne 的作者完成）	审计方把它改接到 ADRS 基准上自己运行（5 个任务 × 3 个 seed，底模统一为 Gemini 3.1 Pro）。论文主结果重跑时只有 5/12 能复现，方法描述与代码一致的只有 3/15；但没有违反任务规范（0/15），幻觉引用也很少（3/196，都来自框架自带文献库里同一条标题有误的条目）	样本小，审计方也在比较自家系统。复现失败的部分原因是独立重跑时缺少 ARC 生成的辅助模块，以及它自带的评估器与标准评估器不一致。审计方认为它的代码和写作是脱节的两个阶段，writer 会自己编出算法名
ScientistTwo 论文用 SAR 给它的公开论文打分（arXiv:2609.19644）	AI 审稿分（第三方运行）	4 篇平均 3.7，没有一篇达到接收	同一审稿器给已接收的 ICLR 2026 论文平均也只打 5.2（n = 5），单篇 AI 审稿分参考价值很低

自报展示

• README showcase（自报）：8 篇论文，题目包括随机矩阵理论、弱工具变量计量、SIR/SEIR 可辨识性、Krylov 预条件子、LoRA PEFT、RL 探索、ViT token merging、蒸馏鲁棒性。showcase 页称每篇都从一句话题目出发、全程无人干预（README 首页的说法则是“全自动或在 co-pilot 指导下”生成）。论文由作者自选，没有任何外部评审。
• v0.1.0 发布说明（自报）：6 次端到端运行，平均质量 6.2/10（“conference review scale”），没有说明打分方式。

AI 审稿分和自家质量门分数为什么不能当质量证据，见为什么 AI 审稿分不可信；各项评测的完整对比见评测研究。

已知问题

截至 2026-10-15，仓库共 167 个 issue，5 个仍是 open。比较有代表性的：

• #117：第 10 阶段（CODE_GENERATION）反复失败。有贡献者分析，默认的 CodeAgent 是“盲修”：只做语法校验，从不实际运行代码；作为后备的 OpenCode beast mode 多数用户没装。另见 #153：没设 GITHUB_TOKEN 时，GitHub API 的 401 报错会混进输出。
• #212：第 10 阶段可能长时间没有任何可见进展，看起来像卡死，原因包括 plan 压缩时丢数据、ACP 调用阻塞；维护者在 commit 5069f60 中修复后关闭了该 issue。另一位用户在该 issue 下补充说，OpenCode beast mode 一次也没成功过，两次 600 秒的尝试都超时了。
• #124：用 Claude Code 走 ACP 时，第 1 阶段就撞上 600 秒超时；变通办法是把 llm.acp.timeout_sec 设成 3600。相关的 #211：ACP-codex 在第 10 阶段超时，并与本地安装的 Superpowers skill 冲突。
• #119：--resume 每次都生成新的 run_id，找不到断点；当时的变通办法是用 --output 指定旧目录。该 issue 已关闭，v0.3.2 的更新说明提到加入了 --resume 自动检测。
• #218：pipeline 改写了论文标题，把综述做成了实证论文（报告者给的标题里本来就有 “A Systematic Review”）。维护者回复这是预期行为，没有综述模式的开关；变通办法是在题目里写明 survey 或 systematic review，或者用 co-pilot 模式引导。
• #144 等（另有 #197、#209、#20）：OpenAI、MiniMax、Gemini 端点报 HTTP 400/401 或连不上，base_url 配置容易搞混；另有 #241 预检失败、#199 文献筛选阶段报 HTTP 400。
• #326：标题是“就是一个玩具，稍微复杂一点就GG了”，2026-09-02 提出，正文没有细节，维护者没有回复。这和论文自己的设定一致：基准题目都是 CPU 上 10 分钟内能跑完的小任务。
• #330：2026-09-20 提出，问论文里的 “Evolution”（跨 run 的经验库）是不是仓库里可选的 MetaClaw 集成，因为默认的 EvolutionStore 路径只属于单个 run。截至 2026-10-15 仍是 open。

适合与不适合

适合

• 从一个题目快速做出 CPU 或单卡规模的小型实证研究初稿。
• 教学，或演示一条完整的研究流水线。
• 比较不同的人机协作策略，尤其是 gate-only 和 co-pilot。
• 借助 Claude Code 领域 agent，在统计、系统生物学、HEP 上做跨领域演示。
• 想要成熟的命令行工具和成本护栏，并且接受“Python 编排器调用 LLM”而不是 agent 原生工作流的用户。

不适合

• 需要真实 GPU 训练、大型代码库或认真调过的 baseline 的前沿 ML 研究。
• 投稿级别的工作。
• 综述论文（见 #218 的范围漂移）。
• 想让 Claude Code 或 Codex 主导流程的人：在这里，它们只是固定状态机背后的子进程。
• 需要项目持续维护的人：2026-08-19 之后没有新提交。

结论

AutoResearchClaw 打磨得不错，也很受欢迎（14,665★）。它的人机协作控制在同类里最全，VerifiedRegistry 在作者自己的消融里确实拦住了编造的数字。

但它的论文质量证据几乎都来自作者自己。ARC-Bench 是 CPU 上 10 分钟内的小题，由 LLM 评委打分；端到端实验里打分的是系统自带的质量门，全自动论文平均只有约 4/10，人工干预也是脚本模拟的。在第三方的 ResearchFlow-Eval 中，它生成的代码缺 import 直接崩溃，9 个系统里垫底（单任务、单次运行）。

建议只在 co-pilot 或 gate-only 模式下用它做 CPU 或单卡规模的小型研究，并且一定要显式设置 experiment.mode。不要指望它端到端产出一篇强的 AI 论文。稿子投出去之前，至少要跑一遍诚信审计（例如 Anti-Autoresearch），再人工逐项核对数字和引用。

下一步：按自己的条件选择 pipeline，或参考推荐流水线（S0–S10）。