VocabX 如何通过特化 SLM 词表将推理成本降低 77%
Dharma-AI 在 Hugging Face 博客中介绍即将发表的 VocabX 论文,称在不更换基座模型、数据和训练配方的前提下,围绕每个 token 的成本而非出现频率重建词表,使基于 Qwen3-4B 的葡语作文评分器实测推理成本下降 77.0%。
Dharma-AI 在 Hugging Face 博客中介绍即将发表的 VocabX 论文,称在不更换基座模型、数据和训练配方的前提下,围绕每个 token 的成本而非出现频率重建词表,使基于 Qwen3-4B 的葡语作文评分器实测推理成本下降 77.0%。
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。
Mistral 与 Nvidia 宣布合作,将 Mistral Large 4、Mistral 的物理 AI 与 Nvidia 的 CUDA-X、Warp 及 Omniverse 结合,用于加速工程仿真和工业产品设计。
Inception 发布扩散语言模型 Mercury 3,称其在多项基准上超过 GPT-6 Luna 和 Claude Haiku 5.5,运行速度快 4 到 8 倍。
Nvidia 在 GTC Berlin 发布 DSX POD,这是围绕 Vera Rubin 系统构建的模块化数据中心参考设计,Dell、HPE、Lenovo、Schneider Electric 等伙伴在工厂内完成计算、网络、布线、供电和液冷安装与测试,现场只需接入电力、冷却和网络。
OpenAI 为 ChatGPT 构建了由 LLM 驱动的广告技术栈,用于理解对话意图、将广告与回答内容分离,并大规模投放相关广告。该技术栈的设计目标是兼顾用户信任与广告相关性。
Monday.com 委托 Nielsen 对 7 国 1700 名董事与高级管理者调查显示,超半数高管称采用 AI 后更难评估员工工作,近半数管理者花更多时间审核团队产出。
OpenAI 与 Google Cloud 宣布,OpenAI 的前沿模型和 Codex 工作流将接入 Gemini 的 Model Garden,并通过 Google Cloud Marketplace 提供。原文未披露具体模型版本、上线时间和定价。
推荐理由:OpenAI 前沿模型与 Codex 工作流进入 Google Cloud 的 Gemini Model Garden,读者可据此判断多云接入路径的变化。
Mistral 与 NVIDIA 宣布合作开发 AI 原生工程工作流,将 Mistral Large 4 与 Mistral 的数据生成和物理建模流程结合,由 NVIDIA CUDA-X 库和 NVIDIA Warp 加速,用于加快工程仿真并打通仿真、模型开发与设计之间的闭环。
Nebius、Nscale 和 Verda 等 AI 云厂商正采用 NVIDIA Vera CPU 构建本地 AI 基础设施,以支撑智能体计算中信息检索、代码执行等 CPU 密集型任务。
NVIDIA 扩展 Confidential Computing,新增 Confidential Bare Metal 部署选项,让前沿模型构建方在第三方裸金属基础设施上运行敏感负载并保留对模型和数据的控制。
NVIDIA cuDSS 正式发布,这是一款将大型稀疏系统求解迁移到 GPU 的 CUDA-X 库。Applied Materials 在 Ginestra 中实现最高 10x 加速,Dassault Systèmes 的 Abaqus 报告 8-10x 加速,ZEISS SMT 用 COMSOL 完成 EUV 光刻等离子体仿真基准测试提速 4x。
NVIDIA 面向工厂场景的 Factory Operations Blueprint(FOX)已在 GitHub 开放早期访问,开发者可构建持续在线的工厂管理智能体及视觉检测、根因分析等专用智能体。
NVIDIA 宣布其欧洲、北欧、非洲和中亚的云合作伙伴扩大区域算力,用于模型训练与推理,并支持智能体与物理 AI 应用。Nscale 在 GB300 NVL72 测试中用 NVIDIA DSX MaxLPS 在同等供电预算下多部署 37% 的 GPU、聚合推理吞吐提升近 50%,并计划部署 Vera Rubin。
Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式可用,A5X 实例下月开放,并计划扩展至欧洲。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNICs、Google Cloud Virgo Network 与第四代液冷技术,面向大规模智能体推理和强化学习负载。
推荐理由:Google Cloud 与 NVIDIA 公布 A5X 实例的可用时间与欧洲扩展计划,并给出首批客户在强化学习与智能体工作负载上的用法。
NVIDIA 在 GTC Berlin 集中展示本地 AI 硬件阵容:RTX Spark 在 Windows PC 上运行个人智能体,DGX Spark 面向 Linux 开发者,DGX Station 面向企业前沿负载,Windows 版本预计 12 月推出。
NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主题演讲中宣布多项产品与平台,包括可在模块化集装箱内预集成验证的 DSX POD 参考设计,现场部署时间可从六个月缩短至 14 天。
推荐理由:黄仁勋在 GTC Berlin 主题演讲中集中发布 DSX POD、OpenShell 安全智能体架构与多款开源模型,可据此了解 NVIDIA 面向欧洲 AI 工厂与智能体的整体布局。
DeepSeek 开源生产推理框架 DeepInfer,支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出,覆盖 NVIDIA 与华为昇腾平台,并同步发布 deepseek-recipe 处理 API 协议转换。
推荐理由:DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,vLLM 随后给出接近的复现数据,可对照看开源推理栈的真实差距。
Tenex 联合创始人 Alex Lieberman 与 CJ Hess 在 AIE New York 分享了公司如何把"按交付成果付费"的模式扩展到工程组织,目前公司已增长至 75 人,客户涵盖财富 2000 强企业与中型市场公司。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持,将采用 Gated Linear Attention 的 Laplace 3B 线性注意力模型移植到 AWS Trainium2,并保留其 GLA 设计与 Muon 优化器。
Simon Willison 用 Claude Code 开发出 Command & Conquer 风格 RTS 游戏 Battle Drones,支持两台邻近设备通过音频消息同步游戏状态实现多人对战。
SF Compute 正在把 GPU 算力做成可交易市场,并亲自承担物理交付:买家拿到的是可用算力而非现金结算。CEO Evan Conrad 称,公司从转租集群扩展到自建云运营能力,按中断性、恢复速度、GPU 代际与网络配置等约束撮合订单。他认为 NVIDIA 因缺乏中立性难以自建此类交易所,并提到可动态切分 InfiniBand 网络结构。
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer,该框架是支撑 V4.1-Flash 模型大规模快速生成回答的服务软件。
ElevenLabs 发布两款语音转语音模型 Eleven Realtime,其中 v1 Max 在 Big Bench Audio 上得分 98.8%,响应时间 0.57 秒。
Google 宣布开源 TorchTPU,这是 PyTorch 面向 Google TPU 的版本,开发者只需修改配置、无需重写应用,就能把现有 PyTorch 应用迁移到 TPU 和 Google Cloud。
推荐理由:Google 与 Amazon 先后推出 PyTorch 的 TPU、Trainium 适配版本,读者可据此观察 AI 芯片生态的竞争格局。
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台,将每个用例的部署时间缩短 50%。该平台为 Reliance 质量管理系统的 650 多家企业客户嵌入 2 亿级文档,并通过 AgentCore Gateway 隔离执行、Bedrock Guardrails 双重过滤保障租户数据不越界。
在 Amazon SageMaker HyperPod 上,团队用 SFT 与 GRPO 微调开源推理模型 GPT-OSS-20B,使其按指定语言进行链式推理。
Amazon Quick 与 Amazon Bedrock AgentCore 组合,把企业 MCP 服务器变成可组合工具层,让供应链管理者用自然语言跨系统提问并直接执行操作。演示中一次查询识别出 TechComp 停产影响 23 笔订单、$750K 营收面临风险,并自动生成应急 RFQ。答案来自实时记录系统而非模型记忆,所有变更需指定人工审批。
Smartsheet 已在 AWS 上线正式可用的 MCP Server,AI 助手可通过标准化协议读写和管理 Smartsheet 数据,覆盖超过 40 个工具,用于探索、创建和管理 sheet、行、列与自动化。
Smartsheet 已在 AWS 上推出正式可用的 MCP Server,AI 助手可通过标准化协议读取、写入和管理 Smartsheet 数据,覆盖表格、行、列与自动化等 40 多个工具。该服务提供三个区域端点,支持 OAuth 2.0 或 Personal Access Token 认证,可接入 Amazon Quick 与 Kiro 等 MCP 客户端。
Mistral AI 发布 Voxtral 3,一套面向实时语音智能体的模型家族,包含语音转文字模型 Voxtral Small Transcribe 3、文字转语音模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。
AWS 发布教程,介绍用 AWS Agent Registry 在运行时按语义搜索发现 MCP 服务器和 A2A 智能体,再由编排器动态构建客户端执行请求。示例代码部署订单管理 MCP 服务器、两个 A2A 智能体和一个编排器,演示仅 MCP、MCP 加 A2A、以及纯语义匹配三个场景。
Amazon Bedrock 的跨区域推理(CRIS)现支持从加拿大(中部)和加拿大西部(卡尔加里)区域调用 OpenAI GPT-5.6(Sol、Terra、Luna)、GPT-6(Astra、Sol、Luna)和 GPT-6.1 Sol。
Hugging Face 宣布通过原生 PyTorch 后端 TorchTPU 在自家生态中支持 TPU,Transformers、Diffusers 和 Kernels 可原生运行在 TPU 上,加载模型时传入 device_map="tpu" 或 pipe.to("tpu") 即可,不再需要 Optimum TPU。
推荐理由:Hugging Face 官方说明 TorchTPU 让 Transformers 与 Diffusers 直接把 TPU 当作普通设备使用,并给出实测加速数据。
AWS 博客演示了以 AtScale 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体的 Customer 360 方案,AtScale 用基于 YAML 的 SML 建模,并从单一模型同时通过 SQL、XMLA 和 MCP 三种协议暴露。
AWS 发布系列第三篇教程,演示用 Strategy Mosaic 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体,跨 Amazon Redshift 与 Amazon Aurora 两个关联模型实现无需 ETL 的 Customer 360。
本文演示用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体,联邦查询 Amazon Aurora、Amazon Redshift 和本地 PostgreSQL 三处数据源。
Eon 用 Amazon Bedrock AgentCore 的 MCP Gateway 替换了逐工具凭证和本地 MCP 进程,让开发者和自主智能体通过单一认证网关统一访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS 与 Keyfactor 联合发布参考架构,用 Keyfactor EJBCA 的 X.509 PKI 为基于 MCP 的 AI 智能体建立加密身份,填补 MCP 无内置认证标准的缺口。