跳到正文
10月24日周六
10月21日周三
  1. Hugging Face Blog60

    ALTK-Evolve 用学习到的记忆让 GPT-4.1 客服智能体登顶 τ²-bench 零售任务

    ALTK-Evolve 用 GPT-4.1 从智能体自身任务轨迹中提炼行为准则并追加到系统提示词,在 τ²-bench 零售任务上把基础 ReAct 智能体的 Pass^4 从 57.5% 提升到 67.5%,超过榜单上所有零售条目和微调模型 RAFT-30B-A3B 的 61.4%。

    推荐理由:原文给出了同一套提示词级记忆在零售与航空两个客服域上的完整对照数据,可据此判断不更新权重也能提升智能体可靠性的路径。

10月18日周日
10月16日周五
  1. The Decoder80

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,每题约 2.40 美元

    一项新基准让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。

    推荐理由:通过 TheoPhysEval 基准的分数、成本与失败案例,读者能看到当前智能体在理论物理计算上的真实边界。

10月15日周四
  1. Google Research62

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,系统评测了四种智能体配置在四个基准上的表现,并开源了自研的 GeoExpertQueries 与 GeoKTools 两个基准的开发集。

    推荐理由:Google 公开了地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等机构的实测案例,可了解专用工具与前置规划对空间推理的作用。

10月13日周二
  1. Microsoft Research40

    微软 StudentSim:用个性化学生模拟器在真实学习者之前评估 AI 辅导

    微软研究院推出 StudentSim,一个在真实学习者测试之前评估和改进 AI 辅导系统的研究系统,并非产品、不部署于课堂。它基于公开的去标识化学习记录训练个性化 AI 学生模拟器,每位学生一个模拟器,并配套推出覆盖国际象棋、第二语言英语写作和数学的 StudentSimEval 基准,从行为保真度和指导响应度两个维度评估模拟器,表现优于主流基线,可为训练 AI 辅导提供反馈信号。

10月12日周一
10月11日周日
10月7日周三
10月6日周二
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线在线信号对照,读者可据此判断评测结果能否预测生产表现。

10月4日周日
  1. Hugging Face Blog71

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非模型生成的文字来判定任务成败。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。

9月30日周三
9月11日周五
8月17日周一
8月13日周四
  1. Microsoft Research38

    MindTopo 基准揭示 VLM 空间推理能力短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类关系,并分为静态推理与交互规划两个层级。测试显示,现有闭源与开源模型在静态识别上明显优于交互规划,且均远低于人类水平;失败多发生在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧保留结构约束时才有帮助。