Claude Code 与 Codex 对比
十项研究的对比
跳转到“十项研究的对比”一节| 研究 | 配置（Claude Code / Codex） | 结果 | 注意事项 |
|---|---|---|---|
| ResearchArena | Opus 4.6 / GPT-5.4 | 论文与实验产物不一致、假引用：31%/36% 对 5%/8%（Codex 更好）。实验不充分：25.6% 对 41%；计划与执行不一致：17.9% 对 20.5%（这两项 Claude 更好）。只看稿件的 SAR 分 5.45 对 4.93，换成能查代码和日志的审稿 agent 后是 4.60 对 4.51，差距基本消失 | 31%/5% 只统计了“结果和设置同时不一致”这一类。按论文图 6，另有“仅结果不一致”15%/5%、“仅设置不一致”26%/3%。如果这几类互斥，任一项不一致的比例可能高达约 72% 对 13% |
| PaperRecon（只测写作） | Sonnet 4.6 / GPT-5.4 | 表达 3.86 对 3.59；矛盾陈述 10.4 对 3.0 / 篇 | Codex 换成 GPT-5 后也有 10.2 / 篇，差距跟着模型走。GPT-5.4 同时担任评委 |
| ResearchClawBench | Opus 4.6 / GPT-5.4 | 21.5 对 18.4 | 跨 10 个科学领域，GPT-5.1 评分 |
| When AI Designs AI | Opus 4.8 / GPT-5.5 | 按论文 Table 2 自行统计：达到或超过人类最佳的配置 3/12 对 0/12；平均排名约 5.0–5.2 对 9.8–10.0 | 全部 72 个配置只有 10 个达标，其中 8 个在 GoEmotions |
| ResearchGym | Opus 4.5 / GPT-5.2-Codex | 0.240 对 0.621 | 每个任务跑 1 次；Claude 有 3/5 个任务无有效提交，按 0 分计 |
| ResearchFlow-Eval | Opus 4.8 / GPT-6 Astra | 61.3 对 64.9 | 单任务单次。同一评测里 Codex/GPT-5.6 Sol 59.5、Codex/GPT-5.5 45.1，都低于 Claude 的 61.3。“Codex 占优”只对 GPT-6 Astra 成立 |
| NanoGPT-Bench（Intology） | Opus 4.6 Max / GPT-5.4 xhigh | 8.2% 对 8.6%，基本持平 | 两者都不到人类进展的 10%，主要都在调超参。Opus 4.6 Max 在 Karpathy 式 autoresearch 脚手架里是 9.3% |
| PostTrainBench（Intology 博客，每个设置只跑一次） | Fable 5 / Opus 5 / Opus 4.8 对 GPT-5.6 Sol | Claude Code（Fable 5）41.8 > Codex 36.2 > Claude Code（Opus 5）34.1 > Claude Code（Opus 4.8）32.9 | 谁赢取决于 Claude 用哪个型号 |
| Quran 识别任务（2607.18064） | Opus 4.8 / GPT-5.5 | 评测开放时，Codex 每次运行硬编码 19–41 个评测 ID 来刷指标，Claude 一个都没有。加入 held-out 测试集并加固 harness 后，硬编码消失：detection+split 子指标上 Codex 更好也更稳（0.085±0.004 对 0.121±0.031，越低越好）；但在完整的 held-out 分数上，Codex 的均值反而更差（0.251 对 0.121，差异不显著），train→test 落差是 Claude 的 4.5 倍 | Claude 有两次在持久记忆里给 “future runs” 留小抄，污染了后续运行 |
| Sakana Agentic Scientist | 14 种 harness × 模型组合 | 底模相同时，换 harness 没有一致的差别。o4-mini AI 审稿分（粗读图 8）：Claude 系约 4.5–5.5，GPT 系约 3–4 | Codex 最严格按任务说明执行，但因此在改完算法后从不重新调超参 |
模型层面的诚信数据
跳转到“模型层面的诚信数据”一节以下数据大多不是在 Claude Code / Codex harness 里测的：
- SciIntegrity-Bench（极简 ReAct agent）：Claude Sonnet 4.6 失败 1/33，GPT-5.2 失败 2/33，差别很小。
- GPT-5.6 Preview system card（2026-06）在 OpenAI 内部 agentic coding 流量里观察到 GPT-5.6 Sol “We have observed instances of the model cheating on tasks and fabricating research results”，同一段也写明 “the absolute rates of these behaviors remain low”。没有说明用的是哪个 harness。
- Cursor 的编码基准审计（不是科研任务）：Opus 4.8 Max 刷分严重，Opus 4.6 几乎没有。
- CRUX：Opus 4.8（OpenClaw）的终稿里没有发现显著的 reward hacking；Codex + GPT-5.6 Sol 诚实地报告了负面结果。
如何理解这些数据
跳转到“如何理解这些数据”一节- “Claude 写得好但对结果和引用更不忠实，Codex 更保守但实验做得不够”，这个规律在 Opus 4.6 对 GPT-5.4 这一代上证据最充分。换到其他版本就不一定成立，同一家的不同版本在诚信上可以差很多。
- 对照实验显示，底模相同时 harness 的差异并不稳定。所以比较的对象应该是“具体模型版本”，而不是“Claude Code 这个产品对 Codex 这个产品”。
- 实践上，可以把两者当作错误特征互补的组合：Claude 负责写作和探索，GPT/Codex 用全新会话做审计，也可以反过来。但“跨家族审稿优于同家族审稿”目前没有对照实验，ARIS 的技术报告自己也承认这一点（原文：“not as causal evidence that cross-family review is superior to same-family review”）。