Terminal X 用 GPT-6.1 让 Eval Agent 对资深投资人判断的匹配度达 88.6%
Terminal X 的 Eval Agent 基于 54 项标准评分体系,对资深投资人判断的匹配度达到 88.6%。借助 GPT-6.1 Sol,该 Agent 发现的偏离基金投资要求的输出比此前多 25%。
Terminal X 的 Eval Agent 基于 54 项标准评分体系,对资深投资人判断的匹配度达到 88.6%。借助 GPT-6.1 Sol,该 Agent 发现的偏离基金投资要求的输出比此前多 25%。
Ai2 发布 FairStress,一个衡量 LLM 在影响他人决策中人口统计公平性的基准,包含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗性前缀后扩展出超 1300 万个测试用例,并已集成进 Olmo-eval。
ALTK-Evolve 用 GPT-4.1 从智能体自身任务轨迹中提炼行为准则并追加到系统提示词,在 τ²-bench 零售任务上把基础 ReAct 智能体的 Pass^4 从 57.5% 提升到 67.5%,超过榜单上所有零售条目和微调模型 RAFT-30B-A3B 的 61.4%。
推荐理由:原文给出了同一套提示词级记忆在零售与航空两个客服域上的完整对照数据,可据此判断不更新权重也能提升智能体可靠性的路径。
OpenAI 正在改进 ChatGPT 对低资源编程语言的支持,并新增了软件工程、SQLite 和 COBOL 迁移方向的评测。这些评测用于衡量模型在相关编程任务上的表现。
AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向生产多智能体系统的持续质量评估框架,用于在每次发布前及生产环境中持续验证回答是否有据、正确,并追溯失败根因。
Google 发布地理空间推理智能体的技术报告,系统评测了四种智能体配置在四个基准上的表现,并开源了自研的 GeoExpertQueries 与 GeoKTools 两个基准的开发集。
推荐理由:Google 公开了地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等机构的实测案例,可了解专用工具与前置规划对空间推理的作用。
微软研究院推出 StudentSim,一个在真实学习者测试之前评估和改进 AI 辅导系统的研究系统,并非产品、不部署于课堂。它基于公开的去标识化学习记录训练个性化 AI 学生模拟器,每位学生一个模拟器,并配套推出覆盖国际象棋、第二语言英语写作和数学的 StudentSimEval 基准,从行为保真度和指导响应度两个维度评估模拟器,表现优于主流基线,可为训练 AI 辅导提供反馈信号。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和反馈驱动的推理循环做出两个专精系统,分别在 IOI 2026 和 IMO 2026 达到金牌水平。
推荐理由:原文给出从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与开源资产,可看领域专精模型如何与推理循环协同。
微软 partner research manager Jennifer Neville 在 Microsoft Research Podcast 中探讨评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的"意外失败"。她指出结果反常时应仔细审视数据,并分享了使用当前 AI 系统的实用建议。
Falcon-Emirati-7B 发布,这是一个基于 Falcon-H1-Arabic 的方言专用模型,专门理解和生成阿联酋阿拉伯语,覆盖词汇、语气与文化语境。
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,可衡量多智能体系统的准确性、任务成功率和行为表现,并首次将可解释性作为一等评估维度。内置评估器覆盖有用性、任务成功、指令遵循等通用维度,自定义评估器则可校验决策依据、数据引用与成本和服务水平等权衡。该能力支持按需模式用于开发基准与 CI/CD 门禁,在线模式用于生产持续监控与告警。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
推荐理由:GitHub 公开了代码审查基准的构建方法与离线在线信号对照,读者可据此判断评测结果能否预测生产表现。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非模型生成的文字来判定任务成败。
推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
Google Research 提出 ToolGrad,一种“答案优先”的工具调用数据集生成范式:先生成真实工具调用链,再反推对应用户提示,替代 ToolBench、ToolACE 等依赖 DFS 试错搜索的查询优先方案。
Mistral 发布 Agentic Search,一种让模型在文档中搜索、打开、导航、读取和 grep 的多步检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。
推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的替代路径。
Microsoft Research 推出 MindTopo 基准,用于评测多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类关系,并分为静态推理与交互规划两个层级。测试显示,现有闭源与开源模型在静态识别上明显优于交互规划,且均远低于人类水平;失败多发生在规划阶段而非感知阶段,模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧保留结构约束时才有帮助。