跳到正文
10月21日周三
  1. Hugging Face Blog60

    ALTK-Evolve 用学习到的记忆让 GPT-4.1 客服智能体登顶 τ²-bench 零售任务

    ALTK-Evolve 用 GPT-4.1 从智能体自身任务轨迹中提炼行为准则并追加到系统提示词,在 τ²-bench 零售任务上把基础 ReAct 智能体的 Pass^4 从 57.5% 提升到 67.5%,超过榜单上所有零售条目和微调模型 RAFT-30B-A3B 的 61.4%。

    推荐理由:原文给出了同一套提示词级记忆在零售与航空两个客服域上的完整对照数据,可据此判断不更新权重也能提升智能体可靠性的路径。

10月20日周二
10月17日周六
10月15日周四
  1. Google Research62

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,系统评测了四种智能体配置在四个基准上的表现,并开源了自研的 GeoExpertQueries 与 GeoKTools 两个基准的开发集。

    推荐理由:Google 公开了地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等机构的实测案例,可了解专用工具与前置规划对空间推理的作用。

10月13日周二
  1. Microsoft Research40

    微软 StudentSim:用个性化学生模拟器在真实学习者之前评估 AI 辅导

    微软研究院推出 StudentSim,一个在真实学习者测试之前评估和改进 AI 辅导系统的研究系统,并非产品、不部署于课堂。它基于公开的去标识化学习记录训练个性化 AI 学生模拟器,每位学生一个模拟器,并配套推出覆盖国际象棋、第二语言英语写作和数学的 StudentSimEval 基准,从行为保真度和指导响应度两个维度评估模拟器,表现优于主流基线,可为训练 AI 辅导提供反馈信号。

10月7日周三
10月6日周二
  1. AWS Machine Learning Blog34

    用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性

    Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,可衡量多智能体系统的准确性、任务成功率和行为表现,并首次将可解释性作为一等评估维度。内置评估器覆盖有用性、任务成功、指令遵循等通用维度,自定义评估器则可校验决策依据、数据引用与成本和服务水平等权衡。该能力支持按需模式用于开发基准与 CI/CD 门禁,在线模式用于生产持续监控与告警。

  2. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线在线信号对照,读者可据此判断评测结果能否预测生产表现。

10月4日周日
  1. Hugging Face Blog71

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非模型生成的文字来判定任务成败。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。

9月30日周三
9月11日周五
8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search,用多步检索循环替代传统 RAG

    Mistral 发布 Agentic Search,一种让模型在文档中搜索、打开、导航、读取和 grep 的多步检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的替代路径。

8月13日周四
  1. Microsoft Research38

    MindTopo 基准揭示 VLM 空间推理能力短板

    Microsoft Research 推出 MindTopo 基准,用于评测多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类关系,并分为静态推理与交互规划两个层级。测试显示,现有闭源与开源模型在静态识别上明显优于交互规划,且均远低于人类水平;失败多发生在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧保留结构约束时才有帮助。