跳转到内容

DeepScientist

DeepScientist 是一个本地优先(local-first)的“自主研究工作室”:一个后台 daemon,配 Web、TUI 和聊天软件前端,包住一个 coding-agent runner。推荐用 Codex,也支持 Claude Code、Kimi Code 和 OpenCode。

它给每个研究任务(quest)建一个 Git 仓库,长时间地复现 baseline、跑实验循环,再把发现整理成论文草稿。它以“发现”为先,写作在后。

项目 内容
仓库 ResearAI/DeepScientist;npm 包 @researai/deepscientist
许可证 Apache-2.0;另有 TRADEMARK.md 限制名称和 logo 的使用
论文 DeepScientist: Advancing Frontier-Pushing Scientific Findings Progressively,arXiv:2509.26603,ICLR 2026(OpenReview)。ICLR 官网上的类型是 Poster;README 首页另有一个 “ICLR 2026 Top 10” 徽章
GitHub star(2026-10-15) 3,375
创建时间 2025-09-26
最近提交 main 分支 2026-06-28(共 341 个 commit)。最新版本 v1.6.0 发布于 2026-05-13,也是 npm 上的最新版。2026 年 3–4 月发版频繁(v1.5.11 到 v1.5.17),5 月以后明显放缓
维护者 ResearAI,README 称由西湖大学 WestlakeNLP 维护。团队还组织了 NLPCC 2026 AISB shared task
Issues 共 56 个,14 个未关闭,42 个已关闭
  • 把科学发现形式化为 Bayesian optimization,用分层的“提出假设 → 验证 → 分析”循环推进,并维护一个持续累积的 Findings Memory。
  • 有希望的发现会被提升到更高保真度的验证。
  • 实现上,核心推理用 Gemini-2.5-Pro,所有代码实现交给 Claude Code(v1.0.53)里的 Claude-4-Opus。DeepScientist 和 Claude Code agent 分别跑在隔离的 Docker 容器里。
  • 每个 quest 是一个 Git 仓库,用分支和 worktree 表示不同的研究路线。
  • 典型流程:从论文、代码仓库或研究目标出发做调研 → 复现 baseline(恢复环境和依赖,记录哪些步骤可信)→ 选 idea → 多轮实验(分支、消融)→ 分析 → 写作、作图、审稿和 rebuttal → 编译 LaTeX 和 PDF。
  • 进度显示在 Research Map / Canvas 上;benchmark 来自 BenchStore;可以接微信、QQ、Telegram、WhatsApp、飞书等聊天软件。
  • 没有固定的阶段调度器,由 skill 根据 quest 当前所处的位置告诉 agent 下一步怎么做。

Start Research 对话框里的主要选项:

选项 取值
research_intensity light:只做 baseline,8 小时;balanced:baseline 加一个方向,24 小时;sprint:完整研究,48 小时
decision_policy autonomous 或 user_gated
launch_mode standard 或 custom
review_followup_policy audit_only、auto_execute_followups、user_gated_followups
其他 manuscript_edit_mode、need_research_paper

README 原话是 “If you just want the safest recommendation, start with Codex first.”

  • Codex 在隔离的 .ds/codex-home 里运行,启动前会把你 ~/.codex 里的认证、配置、skill、agent 和 prompt 复制进去。这是 #7 修复后的行为,修复前会丢掉用户已有的 skill。
  • runner 会转发 profile、model(文档建议使用 provider profile 时设为 inherit)、approval policy、sandbox mode 和 reasoning effort。文档示例用的是 gpt-5.4,reasoning effort 设为 high 或 xhigh。
  • 需要 24 小时连续运行时,维护者建议用 ChatGPT Pro 套餐(见 #32)。

另外三个是 Codex、Kimi Code 和 OpenCode。

  • 先用 ds doctor --runner claude 检查,再用 ds --here --runner claude 启动。
  • DeepScientist 以 headless 方式调用 Claude Code。项目文档 docs/en/24_CLAUDE_CODE_PROVIDER_SETUP.md(2026-10-15 版本)给出的调用形态大致如下。这条命令由 DeepScientist 自己发起,不需要你手动执行,我们也没有运行过。注意其中的 --permission-mode bypassPermissions,也就是跳过 Claude Code 的逐项权限确认:
终端窗口
claude -p \
--input-format text \
--output-format stream-json \
--verbose \
--add-dir /absolute/workspace \
--no-session-persistence \
--permission-mode bypassPermissions \
--mcp-config /absolute/runtime/claude-home/mcp.json \
--allowedTools "mcp__memory,mcp__artifact,mcp__bash_exec"
  • 每次运行会注入 3 个 MCP server:memory、artifact、bash_exec。DeepScientist 的 skill 会同步到 quest 自己的 .claude/agents 下。
  • 在 runners.yaml 里配置 binary、config_dir(默认 ~/.claude)、model、permission_mode 和 env。也可以让 Claude Code 通过 Ollama 调用本地模型。
  • 论文版本的所有代码实现都交给 Claude Code + Claude-4-Opus。
  • 论文附录 C 记录:Claude Code 报告完成后,DeepScientist 会自己从命令行再跑一遍主脚本。这样做是为了应对大量“假阳性”:作者观察到,约 50% 的初始实现尝试因 Claude Code agent 内部超时而没有完整完成。
  • 本调研没有找到在 DeepScientist 内部对比不同 runner 的对照实验。#32 里有一位用户说,烧了 100 美元的 GPT-5.1 也没做出结果,“比 claude 的差的有点多”。这只是单个用户的体验。

平台:完整支持 Linux 和 macOS。原生 Windows 仍是实验性支持,README 强烈建议用 WSL2。

推荐路线(Codex):

终端窗口
npm install -g @researai/deepscientist
codex login
ds --here

Claude Code 路线(前提是 claude 已经能在你的 shell 里直接运行):

终端窗口
npm install -g @researai/deepscientist
claude --version
ds doctor --runner claude
ds --here --runner claude

从源码安装:

终端窗口
git clone https://github.com/ResearAI/DeepScientist.git
cd DeepScientist
bash install.sh
ds

启动后的默认本地地址:

http://127.0.0.1:20999

然后在网页里点 Start Research,填写研究目标、baseline 或论文链接(也可以是本地路径),再选择 decision policy 和 intensity。

其他常用命令:

  • ds --auth true:每次启动时生成一个本地访问密码(默认不开启)。
  • ds --tui:终端界面。
  • ds --stop:停止本地 daemon 和所有正在运行的 agent。

runner 的认证和 provider 配置仍由底层 CLI 负责:先让 codex、claude、kimi 或 opencode 在 shell 里单独跑通,再运行 ds doctor --runner <name>。

README 还提供了一段建议的致谢文字,用于在论文里披露 AI 协助:

We used DeepScientist to assist parts of the research workflow, including selected planning, implementation, experiment orchestration, analysis, and/or writing support. Final judgments, claims, and reported real experimental results remain the responsibility of the human authors.
  • decision_policy 设为 autonomous 时,普通的等待点(例如论文材料包的检查点)会自动继续,界面上标为 Auto-resumed。但以下情况仍会停下来等人:需要凭据、涉及隐私或数据导出边界、外部花费很高,以及最终确认 quest 完成。
  • 设为 user_gated 时,只有在继续执行确实取决于你的时候,agent 才发起阻塞性的决定。
  • 工作区还分 copilot 和 autonomous 两种模式:copilot 完成你要求的当前单元后就停下,等下一条消息或 /resume;autonomous 会一直推进到下一个真正的长时任务。
  • review_followup_policy 设为 user_gated_followups 时,审计完成后会先征求你同意,再做昂贵的后续工作。
  • 任何时候都可以在 Web、TUI 或已连接的聊天软件里暂停、接管、修改计划或代码,再把控制权交还。

论文里的研究活动也不是无人值守的:全程有 3 名人类专家监督,负责核实输出、过滤幻觉,所有实验结果都经过人工检查。

场景 数字 来源
产品版,用 GPT-5.4 每小时约 $15–25 维护者在 #32 中的估计
用订阅代替 API 24 小时运行建议用 ChatGPT Pro;用 Plus 每 5 小时要停 3–4 小时 同上
按预设时长粗算 预设为 8、24、48 小时,按 API 价格约 $120–1,200 一个 quest 本调研按每小时 $15–25 推算,不是项目方数据
论文的研究活动 超过 2 万 GPU 小时(2 台服务器,各 8 张 H800),总花费约 $100,000;生成约 5,000 个 idea,约 1,100 个做了实验验证,21 个带来进展 论文(自报)
论文中的单位成本 每个 idea 约 $5 API 费用;每次实现尝试约 $20 的 Claude-4-Opus 费用,外加约 1 GPU 小时;一个成功的发现进入分析和写报告阶段,还要再花约 $150 论文附录(自报)
一次独立评测中的运行 ResearchFlow-Eval 的单个任务:7.0 小时、205.7M token,是 9 个系统里 token 用量最多的 独立评测

用户在 #32 里的反馈:

  • 用第三方大模型时,光写开头的 PLAN.md 就用掉了 5M token。
  • 有人花了 100 美元的 GPT-5.1,没做出结果。
  • 有人跑了十几 M token 的 GPT,也没出结果。

磁盘也可能被撑爆:quest 仓库可以涨到 100 GB 以上(#104)。

证据强度分两件事看:

  • “在巨大算力和人工监督下,能不能把指标推过 SOTA”:中(自报,有人工监督)。
  • “能不能写出好论文”:弱。
证据 结果 类型 要注意的地方
系统论文被 ICLR 2026 接收 Poster 真实人类评审 被评审的是人写的系统论文,不是 DeepScientist 产出的研究论文
三个前沿 AI 任务上超过人类 SOTA 分别提升 183.7%、1.9%、7.9% 自报 研究版本,超过 2 万 GPU 小时、约 $100k。3 名人类专家全程监督,所有实验结果都经人工检查。不是开箱即用的产品跑出来的。人类专家抽样分析失败的试验,约 60% 因实现错误而提前终止
作者组织的小型人类评审 5 篇生成论文均分 5.00(5.67、5.67、5.00、4.33、4.33);作为参照,ICLR 2025 全部投稿的均分是 5.08 开发方评测 委员会只有 3 人:2 位 ICLR 2025 志愿审稿人,加 1 位曾受邀担任 ICLR AC 的研究者。在所用的 1–10 分尺度上,5 分是 borderline reject
DeepReviewer-14B 打分 均分 5.90,60% 判为接收 AI 审稿分 DeepReviewer 出自 DeepScientist 的同一批作者(论文引用 Zhu、Weng 等 2025);比上面的人类评审高约 0.9 分
Stanford Agentic Reviewer(SAR)给 DeepScientist 公开的 3 篇论文打分 均分 4.1,接收率 0% AI 审稿分(第三方打分,出自 ScientistTwo 论文) n=3;ScientistTwo 是另一个 AI 科学家系统,这组分数出自它和自家系统的对比表
ResearchFlow-Eval DeepScientist 1.6.0(Codex CLI + GPT-5.5)总分 39.9,低于同模型的原生 Codex(45.1)。四个设计阶段的得分在 GPT-5.5 系统里最高,但代码执行只有原生 Codex 的一半(25.0 对 50.0),结果质量 0.0,34 次尝试没有一次达到成功标准 独立评测 单任务,每个系统只跑一次
ScientistOne 的诚信审计 用 DeepScientist(Codex CLI)在其 5 个任务上各跑 3 个 seed:分数能复现的 11/12;参考文献幻觉 42/201(20.9%),是被审计系统里最高的,审计方认为原因是参考文献靠模型记忆生成;方法与代码一致的 5/15 独立评测(由另一个 AI 科学家系统的作者执行) 审计方同时在介绍自家系统;被审的各系统统一换用 Gemini 3.1 Pro 作底模,跑的是 ADRS 基准任务
README 里的论文示例 只有截图 自报 没有找到 DeepScientist 产出的论文经过会议评审的报告

AI 审稿分为什么不能当质量证据,见为什么 AI 审稿分不可信。

  • #32(未关闭):完成一个任务要花多少 token 和时间?有用户用第三方模型写开头的 PLAN.md 就用了 5M token;维护者估计用 GPT-5.4 每小时 $15–25,并推荐 ChatGPT Pro;也有用户花了 $100 的 GPT-5.1 或十几 M token,都没出结果。
  • #42(已关闭):多名用户反映 agent 卡在 baseline 上,迟迟不进入 idea 阶段;发帖人说跑了两天还在确认 baseline。维护者在 v1.6.0 里调整了 prompt,称 token 效率提升 30%。
  • #104(未关闭):虚拟环境、模型 checkpoint、OpenCode 和 Hugging Face 缓存被收进 quest 的 Git 仓库,一个 quest 的 .git 达到约 96 GB,Git pack 内存耗尽,daemon 变为 unhealthy。
  • #108、#75(都未关闭):界面卡在 “Working…”,任务停不下来也放弃不了,token 白白消耗。一位项目贡献者在 #75 里回复说 Windows 上 bug 比较多,建议用 Linux 或 WSL。#108 还请求在 5 小时订阅额度重置后自动恢复运行。
  • #7(已修复):Codex runner 曾替换 CODEX_HOME,丢掉用户已有的 skill。现在会把 ~/.codex 的认证、配置、skill、agent 和 prompt 继承到隔离的 .ds/codex-home。
  • #87、#91(已关闭):旧版本的 ds doctor 不认 --runner claude 参数,维护者称已在 main 上修复。再加上 #17(打开后网页空白)、#56(启动失败)和 #103(抱怨安装麻烦),可以看出安装配置环节反复出问题。

适合:

  • 在一个可复现的 baseline 上做长周期、以指标为导向的研究:先复现一篇论文的代码,再连续几天迭代假设,全过程留在 Git 里。前提是有一个 agent 改不到、也看不到的评估器(见推荐流水线的 S0)。
  • 本地优先、需要保密的工作,或者想在手机上跟进进度的人。
  • 深挖建议的配置是 Codex + ChatGPT Pro 套餐 + 自己的 GPU。

不适合:

  • 想快速、便宜地出一份论文草稿。
  • 预算紧:按 API 价格每小时约 $15–25。
  • Windows 用户。
  • 对稳定性要求高的场景:卡死、磁盘膨胀、安装配置问题都有报告。
  • 主要想把写作做好的人:它以发现为先。
  • 需要活跃维护的人:2026 年 5 月以后没有发布新版本。

在本调研深挖的 pipeline 里,DeepScientist 关于“推动前沿发现”的公开说法最强,而且原生支持 Codex,也支持 Claude Code。但这些发现是作者自报的,背后是 2 万多 GPU 小时、约 $100k 和 3 名专家的全程监督。

作为产品,它昂贵、毛糙,更新也在放缓。在 ResearchFlow-Eval 这项独立评测里,它的总分低于同模型的原生 Codex。适合在有人监督的前提下跑长时间的指标优化,不适合用来快速产出一篇好论文。

下一步:怎么选 pipeline · 推荐流水线(S0–S10)