跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

11 条精选近 30 天 10 条共收录 50 条

更新

评测基准的精选

10月24日周六第 1–11 条
  1. The Decoder80

    月之暗面发布 Kimi K3.1 Pro,智能指数升至第四逼近 Claude Opus 5.5

    月之暗面发布 Kimi K3.1 Pro,在 Artificial Analysis 智能指数上得分 55,比 K3 提升 11 分,位列第四,仅落后 Claude Opus 5.5(58)、Claude Sonnet 5.5(56)和 Muse Wonder Full(56)。

    推荐理由:Kimi K3.1 Pro 在多项基准上逼近 Claude Opus 5.5,且计划开放权重,读者可据此判断开源与闭源模型的差距变化。

10月21日周三
  1. Hugging Face Blog60

    ALTK-Evolve 用学习到的记忆让 GPT-4.1 客服智能体登顶 τ²-bench 零售任务

    ALTK-Evolve 用 GPT-4.1 从智能体自身任务轨迹中提炼行为准则并追加到系统提示词,在 τ²-bench 零售任务上把基础 ReAct 智能体的 Pass^4 从 57.5% 提升到 67.5%,超过榜单上所有零售条目和微调模型 RAFT-30B-A3B 的 61.4%。

    推荐理由:原文给出了同一套提示词级记忆在零售与航空两个客服域上的完整对照数据,可据此判断不更新权重也能提升智能体可靠性的路径。

10月16日周五
  1. The Decoder80

    GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理研究题中的 49 道,每题约 2.40 美元

    一项新基准让商用 AI 智能体在无人类提示下求解理论物理研究题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整轮约 116 美元。

    推荐理由:通过 TheoPhysEval 基准的分数、成本与失败案例,读者能看到当前智能体在理论物理计算上的真实边界。

10月15日周四
  1. Google Research62

    Google 发布地理空间推理智能体技术报告与两个新基准

    Google 发布地理空间推理智能体的技术报告,系统评测了四种智能体配置在四个基准上的表现,并开源了自研的 GeoExpertQueries 与 GeoKTools 两个基准的开发集。

    推荐理由:Google 公开了地理空间推理智能体的技术报告与两个新基准,并给出与 WHO 等机构的实测案例,可了解专用工具与前置规划对空间推理的作用。

10月8日周四
10月7日周三
10月6日周二
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布特征构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与离线在线信号对照,读者可据此判断评测结果能否预测生产表现。

10月4日周日
  1. Hugging Face Blog71

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非模型生成的文字来判定任务成败。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。

10月1日周四
9月30日周三
8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search,用多步检索循环替代传统 RAG

    Mistral 发布 Agentic Search,一种让模型在文档中搜索、打开、导航、读取和 grep 的多步检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断传统 RAG 的替代路径。