跳转到内容

AutoSci

AutoSci 是一个以记忆为核心的研究环境,由 30 多个 coding-agent skill 组成。它维护一个跨项目的持久化 wiki 和知识图谱(论文、概念、方法、idea、实验等),用来驱动构思、实验、写作、rebuttal 和海报制作,还可以接入第二个 LLM 做审稿。项目自己标注为 internal beta。

项目 内容
仓库 DAIR-AutoResearch/AutoSci。前身是 OmegaWiki;README 里的链接仍指向旧地址 skyllwt/AutoSci
许可证 MIT
论文 AutoSci: A Memory-Centric Agentic System for the Full Scientific Research Lifecycle,arXiv:2605.31468,2026-05-29
GitHub star(2026-10-15) 1,705
创建时间 2026-04-09(当时叫 OmegaWiki)
最近提交 2026-10-02(共 108 个 commit)
维护者 北京大学 DAIR(崔斌课题组)
版本 GitHub Releases 上有 v1.0.0(2026-04-27)和 arxiv-v1(2026-06-01,论文快照)
分支 main:Claude Code 稳定版;autosci-codex:Codex 预览版(2026-07-10);autosci-opencode:OpenCode 预览版(2026-07-12);paper:论文描述的完整系统,冻结为 tag arxiv-v1
Issues 共 25 个,4 个未关闭,21 个已关闭
状态 README 徽章标注为 internal beta

由四个模块组成:

  • SciMem:带 schema 约束的研究记忆,分成长期知识和当前项目记忆两个区域。
  • SciFlow:五阶段生命周期(文献、构思、实验、写作、rebuttal),运行在一个管理状态、上下文、验证和反馈的 harness 里。
  • SciDAG:可选模块,给最难的 skill 加上 DAG 形式的多 agent 算子和模板。
  • SciEvolve:把反馈转成对记忆、skill 和模板的版本化更新。
阶段 skill
0 配置 /setup、/reset
1 知识库 /prefill、/init(用 raw/papers、raw/notes、raw/web 里的材料建 wiki)、/ingest(本地路径或 arXiv URL)、/discover(可以按会议和年份筛选)、/edit、/ask、/check
2 构思与实验 /daily-arxiv;/ideate(双模型头脑风暴 → 筛选验证 → 写入 wiki → 用 /exp-pilot-run 和 /exp-pilot-eval 做预实验);/novelty、/review、/exp-design、/exp-run、/exp-status、/exp-eval、/refine
3 写作与传播 /survey、/paper-plan、/paper-draft、/paper-compile、/rebuttal、/poster
工具 /visualize(生成 Obsidian 图谱配置;网页版图谱由 tools/serve.py 提供)
  • /research 是端到端编排器,中间有人工关口。
  • /hiera-experiment(2026-09-28 加入)是一个引导式的方法迭代循环,执行前要显式地 admit 和 approve。

Claude Code:main 分支上的稳定运行时

跳转到“Claude Code:main 分支上的稳定运行时”一节
  • skill 被复制到 .claude/skills,以 slash command 调用,例如 /init、/ideate、/exp-run、/paper-draft、/research。
  • setup.sh 会安装一个很宽的权限模板 .claude/settings.local.json:Bash(*)、Read(*)、Edit(*)、WebSearch、WebFetch(*)、MCP(*),以及 enableAllProjectMcpServers(见 #45)。
  • 可以通过 ANTHROPIC_BASE_URL 和 ANTHROPIC_AUTH_TOKEN 接入兼容 Anthropic 协议的第三方后端,例如 DeepSeek、Kimi、GLM、MiMo。
  • 论文的两个案例研究用的是 Claude Code + Opus 4.7。
  • autosci-codex 分支(2026-07-10)是官方的 Codex 预览版:skill 放在 .agents/skills,用 $init、$ideate 这样的方式调用,说明写在 AGENTS.md 里。它只支持 Codex,与 main 分开维护。
  • Codex CLI 还可以在 GitHub Actions 里无人值守地跑每日 arXiv 推荐(inform 模式,使用 OPENAI_API_KEY 或 CODEX_ACCESS_TOKEN)。

所谓 Review LLM,可以是任何 OpenAI 兼容的 API,通过 llm-review MCP server 接入,用 LLM_API_KEY、LLM_BASE_URL、LLM_MODEL 配置。不配置时,skill 会退回单 agent 模式。

README 给出的命令:

终端窗口
git clone -b main https://github.com/skyllwt/AutoSci.git
cd AutoSci
npm install -g @anthropic-ai/claude-code
claude login
claude
# Then type: /init [your-research-topic]

README 这段命令里没有 setup.sh。按本调研深挖的记录,main 分支同样要先运行 setup.sh(可加 --lang en):它会创建 .venv、安装 requirements.txt、复制 skill,并装上前面提到的权限模板。#19 指出,如果在运行 setup.sh 之前就启动 Claude Code,权限配置会出问题。README 里的手动安装步骤同样包含 pip install -r requirements.txt,并把 config/settings.local.json.example 复制为 .claude/settings.local.json。无论走哪条路,都先做完上面的审计。

把自己的论文(.tex 或 .pdf)放进 raw/papers/,启动 claude 后,README 给出的一种用法是依次执行:

/init [your-research-topic]
/ideate [research-direction-or-topic]
/exp-design <idea-slug>
/exp-run <slug> [--env local|remote]
/exp-status
/exp-run <slug> --collect
/exp-eval <experiment-slug>
  • /ideate 可以加 --skip-pilot,决定是否做预实验。
  • 写作阶段依次用 /paper-plan、/paper-draft、/paper-compile,之后可以用 /rebuttal 和 /poster。
  • 也可以直接用 /research 走带人工关口的端到端流程。

README 给出的命令:

终端窗口
# 1. Clone the Codex Preview branch
git clone -b autosci-codex https://github.com/skyllwt/AutoSci.git
cd AutoSci
# 2. Install and sign in to Codex
# Follow your Codex/OpenAI setup path, then verify:
codex --version
# 3. One-click setup
chmod +x setup.sh && ./setup.sh # Linux / macOS
# Windows (PowerShell):
# powershell -ExecutionPolicy Bypass -File .\setup.ps1
# setup creates .venv and syncs the Codex `.agents/skills` tree
# 4. Put your own papers in raw/papers/ (.tex or .pdf)
# Optional: intent notes in raw/notes/, saved pages in raw/web/
# 5. Build your research memory and start a project
codex
# Then invoke: $init [your-research-topic]

这里的 setup.sh 同样会安装依赖,运行前请先按上面的提示审计。

除了 Claude Code 或 Codex 本身的登录,下面这些都是可选的:

变量 用途
LLM_API_KEY、LLM_BASE_URL、LLM_MODEL 跨模型审稿(Review LLM),以及 /daily-arxiv 的推荐
SEMANTIC_SCHOLAR_API_KEY 引用图谱、论文检索
DEEPXIV_TOKEN 语义检索、TLDR、趋势(setup.sh 会自动注册)

远程 GPU 实验(/exp-run 加 --env remote)依赖 ssh、rsync 和 screen,README 建议在 WSL2、Linux 或 macOS 上运行。

  • 大多数时候是一个 skill 一个 skill 地手动推进。
  • /research 是端到端编排器,中间有人工关口。
  • /hiera-experiment 在真正执行前,需要显式的 --admit、--approve 和 --preflight 步骤。
  • /exp-eval 是一个判定关口:由 Review LLM 独立判断实验结果,并更新对应 idea 的状态和图谱关系。
  • 每日 arXiv 推荐有两种模式:inform 只发通知,auto-ingest 自动收录高置信度的论文。
  • 项目没有声称可以通宵无人值守地运行,并自称 internal beta。
  • 没有公布任何美元成本。
  • 论文的两个端到端案例研究(Claude Code + Opus 4.7,从文献一直到写作):
    • GPU kernel 优化:27.3 小时,跑在 4 张 NVIDIA A40 上,预实验预算约 250 GPU 小时。
    • 生物医药(降解剂靶点提名):22.6 小时,实际执行的实验跑在单张 RTX 4060 上。
  • 你需要支付的是:Claude 订阅或 API 费用、可选的 Review LLM API 费用,以及自己的 GPU(本地,或通过 SSH 连接的远程机器)。

证据强度:弱。只有两篇论文的 AI 审稿分,没有人类评审,也没有真实投稿。

证据 结果 类型 要注意的地方
论文的两个案例研究 GPU kernel 优化论文 6.3/10,论文把评审意见概括为 “a careful empirical study”,但只覆盖一个模型、一个硬件系列和一个 benchmark 套件;生物医药论文 5.8/10,概括为 “a transparent but incomplete negative-result paper” AI 审稿分 由 PaperReview.ai(即 Stanford Agentic Reviewer)以 ICLR 为目标会议打分,n=2。作者自己说这些评审只是用作 “a paper-level review proxy, not as a replacement for formal peer review”。两篇都是模拟投稿,没有真实投出,rebuttal 阶段也没有评估
README 列出的 3 篇端到端生成论文 主题分别是 Triton GPU kernel 优化、PTM-aware 降解剂靶点提名、LLM 礼貌表达与动机性认知 自报 没有任何外部评审结果
LLM-wiki 是否真的有用 维护者在 #42 中承认,据他们所知没有 benchmark 比较过“agent 维护的 wiki”和“整理好的 Markdown 文件夹” 自报 这是 AutoSci 的核心设计,目前没有直接的对照证据;维护者引用的相关研究测的是 RAG,不是 wiki 维护

作为参照:在 ResearchArena 中,SAR 给 ICLR 已接收和被拒论文打的平均分只差 0.25,人类审稿人差 1.52。所以单篇的 6.3 或 5.8 说明不了论文能不能被接收,见为什么 AI 审稿分不可信。

  • #88(已关闭):requirements.txt 在 2026-09-12 被改成从恶意 git fork 安装 requests,pip install 时会执行攻击者代码;2026-09-18 已回滚。详见页首。
  • #45(已关闭):setup.sh 安装的权限模板(Bash(*)、Edit(*)、WebFetch(*)、MCP(*)、enableAllProjectMcpServers)比文档写的宽得多,取消了整个项目的逐项授权。维护者的处理是改文档,而不是收窄权限,理由是 skill 确实需要 Bash(*)。
  • #19(未关闭):Claude Code 反复请求权限,因为权限配置在安装后被覆盖。issue 作者(项目协作者)后来补充,触发条件看起来是在运行 setup.sh 之前就启动了 Claude Code。解决办法是把 config/settings.local.json.example 里的 permissions 部分复制回 .claude/settings.local.json。
  • #70(另见 #61、#68、#69、#71):用户多次询问能否用 Codex 运行 AutoSci,或接入 Codex。2026 年 7 月项目推出了 autosci-codex 预览分支,目前仍是预览版,与 main 分开。
  • #42(已关闭):没有直接证据表明 LLM-wiki 真的有帮助,维护者承认据他们所知没有相关 benchmark。
  • #5(已关闭):/init 按引用数给论文排序,在发展快的领域会让 wiki 偏向旧论文。

适合:

  • 长期、文献密集的研究项目,需要一个跨项目、互相链接的持久知识库:wiki 健康检查、对照你自己的语料查新颖性、每日 arXiv 分拣。
  • 想一步一步手动控制、再配一个第二模型审稿的 Claude Code 用户,以及需要 rebuttal 和海报工具的人。

不适合:

  • 无人值守地从 idea 一路跑到论文。
  • 对安全敏感的环境:2026 年 9 月的供应链事件,加上全开的权限模板。
  • 以 Codex 为主的用户:只有预览分支。
  • 需要证据证明产出论文质量的人。

AutoSci 以记忆为核心,设计思路有意思,但仍处于 internal beta。要端到端产出一篇好论文,它不是合适的选择。

如果要试:先审计 requirements.txt 和 setup.sh,在容器里运行,重点用它的知识库功能,而不是写作功能。

下一步:怎么选 pipeline · 推荐流水线(S0–S10)