研究:花哨的编码智能体框架更贵但并未更好
Liu 与 Han 的研究用 Claude Code、OpenCode 和 mini-SWE-agent 三个框架测试 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview,发现换框架带来的结果变化与同一设置重跑一次相当,任务级翻转率均为 13%,而换模型为 22%。
Liu 与 Han 的研究用 Claude Code、OpenCode 和 mini-SWE-agent 三个框架测试 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview,发现换框架带来的结果变化与同一设置重跑一次相当,任务级翻转率均为 13%,而换模型为 22%。
Ai2 发布 FairStress,一个衡量 LLM 在影响他人决策中人口统计公平性的基准,包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,并已集成进 Olmo-eval。
ALTK-Evolve 用 GPT-4.1 从智能体自身任务轨迹中提炼行为准则并追加到系统提示词,在 τ²-bench 零售任务上把基础 ReAct 智能体的 Pass^4 从 57.5% 提升到 67.5%,超过榜单上所有零售条目和微调模型 RAFT-30B-A3B 的 61.4%。
推荐理由:原文给出了同一套提示词级记忆在零售与航空两个客服域上的完整对照数据,可据此判断不更新权重也能提升智能体可靠性的路径。
研究者提出 Taste-Bench,用 502 道“决策分叉”二选一题衡量智能体在长期任务中的路径判断力,最佳模型 GPT-5.6 Sol 平均准确率仅 59.7%。
独立AI安全研究员Matilda Glynn-Henley在Vals AI网站发布实验,让Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3和Claude Opus 5.5六款模型在模拟环境中追讨一张350英镑的取消车票退款,最终全部失败。
一项新基准让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。
推荐理由:通过 TheoPhysEval 基准的分数、成本与失败案例,读者能看到当前智能体在理论物理计算上的真实边界。
Google 发布地理空间推理智能体的技术报告,系统评测了四种智能体配置在四个基准上的表现,并开源了自研的 GeoExpertQueries 与 GeoKTools 两个基准的开发集。
推荐理由:Google 公开了地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等机构的实测案例,可了解专用工具与前置规划对空间推理的作用。
微软研究院推出 StudentSim,一个在真实学习者测试之前评估和改进 AI 辅导系统的研究系统,并非产品、不部署于课堂。它基于公开的去标识化学习记录训练个性化 AI 学生模拟器,每位学生一个模拟器,并配套推出覆盖国际象棋、第二语言英语写作和数学的 StudentSimEval 基准,从行为保真度和指导响应度两个维度评估模拟器,表现优于主流基线,可为训练 AI 辅导提供反馈信号。
Elorian 与 Scale AI 发布 Humanity's Sixth Sense(HSS)基准,用 522 道题、288 张图和 234 段视频(17.6 小时)测试多模态模型的直觉视觉推理,人类 pass@1 达 93.1,最佳模型 GPT 6 Astra 仅 53.6,GLM-5.3-flash 与 Kimi K3 分别只有 26.8 和 25.5。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和智能体团队形式运行,团队成本是单智能体的 1.8 倍到 5.1 倍。
Epoch AI 用新基准 InnovationEval 测试 AI 智能体能否独立做研究,任务是发明一种改进语言模型训练后阶段的新方法并自行实现、测试和优化。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和反馈驱动的推理循环做出两个专精系统,分别在 IOI 2026 和 IMO 2026 达到金牌水平。
推荐理由:原文给出从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与开源资产,可看领域专精模型如何与推理循环协同。
Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 能否用英文单词表达整数加法结果。关闭推理时 5,070 个用例数字准确率仅 23.57%,格式合规率 96.17%,一至三位数操作数准确率 97.04%,十至十三位数骤降至 6.44%。开启推理后 169 个用例中答对 167 个。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与离线在线信号对照,读者可据此判断评测结果能否预测生产表现。
Aleph Alpha 用自建基准测试了阿里 Qwen、DeepSeek 和月之暗面 Kimi 等中国模型,覆盖 Tiananmen、台湾、新疆等 967 个敏感话题,其评分系统仅将 17% 至 41% 的回答评为平衡,其余为复述官方立场、回避或拒答。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非模型生成的文字来判定任务成败。
推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Anthropic Frontier Red Team 在内部 Binary Exploitation benchmark 中随机抽取 100 个任务评测多个模型,GLM-5.3 在 4% 的试验中实现了完整控制流劫持,Claude Mythos Preview 为 6%。报告指出,此前的 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功,说明一个有意义的能力阈值已被跨越。
Google Research 提出 ToolGrad,一种“答案优先”的工具调用数据集生成范式:先生成真实工具调用链,再反推对应用户提示,替代 ToolBench、ToolACE 等依赖 DFS 试错搜索的查询优先方案。
Import AI 469 期介绍了新基准 DiG-bench,包含 70 款隐藏规则的游戏,用于测试 AI 通过探索发现环境规则的能力,Opus 5 和 Fable 5 配合 Claude Code 表现最佳,但仅在 Tier 7 任务上取得 0.2 的成功率。
Microsoft Research 推出 MindTopo 基准,用于评测多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类关系,并分为静态推理与交互规划两个层级。测试显示,现有闭源与开源模型在静态识别上明显优于交互规划,且均远低于人类水平;失败多发生在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧保留结构约束时才有帮助。