研究:花哨的编码智能体框架更贵但并未更好
Liu 与 Han 的研究用 Claude Code、OpenCode 和 mini-SWE-agent 三个框架测试 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview,发现换框架带来的结果变化与同一设置重跑一次相当,任务级翻转率均为 13%,而换模型为 22%。
Liu 与 Han 的研究用 Claude Code、OpenCode 和 mini-SWE-agent 三个框架测试 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview,发现换框架带来的结果变化与同一设置重跑一次相当,任务级翻转率均为 13%,而换模型为 22%。
Anthropic 的 Frontier Red Team 与 Theorem 合作,让 Claude 对 Google OSS-Fuzz 项目中 123 个开源库的测试程序做形式化验证,几周内产出约 1.8 亿行数学证明代码,由 Rocq 独立校验,据称几乎不需要人工复核。
推荐理由:材料给出了 Claude 自动生成形式化证明的规模、发现的真实缺陷和适用边界,读者可据此判断 AI 验证代码的可行范围。
哈佛大学研究者 Fiona Chen 和 James Stratton 基于 Jellyfish 的工程分析数据,覆盖 2021 年至 2026 年 3 月间 700 多家软件公司、70 多万名员工的 3 亿条工作事件,发现人类代码审查成为 AI 编码工具整体效率的显著瓶颈。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与离线在线信号对照,读者可据此判断评测结果能否预测生产表现。