技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
43 条精选近 30 天 36 条共收录 262 条
Symantec 安全研究人员发现一个攻击型 AI 智能体，会劫持互联网上未防护的语言模型，并利用这些模型自主发起攻击，被劫持模型的所有者则要承担算力费用。该智能体可连续执行最多 10 万步，扫描更多目标、利用常见服务器软件漏洞、窃取数据库和凭据，并在后台安装挖矿程序。攻击者通过蜜罐泄露的完整提示词显示，其用五层越狱包装指令，并设置扫描、感染、挖矿、回访的循环流程。
推荐理由：Symantec 通过蜜罐截获完整攻击提示词，呈现了 LLMjacking 从劫持模型到自我循环攻击的架构细节。
NVIDIA 扩展 Cosmos 平台，新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图，用于世界模型的训练、评估与部署。
推荐理由：原文给出数据工厂蓝图、框架技能和 NIM 推理提速的具体变化，读者可据此判断世界模型开发链路的可用性。
OpenAI 与 Google Cloud 宣布，OpenAI 的前沿模型和 Codex 工作流将接入 Gemini 的 Model Garden，并通过 Google Cloud Marketplace 提供。原文未披露具体模型版本、上线时间和定价。
推荐理由：OpenAI 前沿模型与 Codex 工作流进入 Google Cloud 的 Gemini Model Garden，读者可据此判断多云接入路径的变化。
Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式可用，A5X 实例下月开放，并计划扩展至欧洲。A5X 整合 Vera Rubin NVL72、ConnectX-9 SuperNICs、Google Cloud Virgo Network 与第四代液冷技术，面向大规模智能体推理和强化学习负载。
推荐理由：Google Cloud 与 NVIDIA 公布 A5X 实例的可用时间与欧洲扩展计划，并给出首批客户在强化学习与智能体工作负载上的用法。
NVIDIA CEO 黄仁勋在 GTC Berlin 2026 主题演讲中宣布多项产品与平台，包括可在模块化集装箱内预集成验证的 DSX POD 参考设计，现场部署时间可从六个月缩短至 14 天。
推荐理由：黄仁勋在 GTC Berlin 主题演讲中集中发布 DSX POD、OpenShell 安全智能体架构与多款开源模型，可据此了解 NVIDIA 面向欧洲 AI 工厂与智能体的整体布局。
DeepSeek 开源生产推理框架 DeepInfer，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，覆盖 NVIDIA 与华为昇腾平台，并同步发布 deepseek-recipe 处理 API 协议转换。
推荐理由：DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入，vLLM 随后给出接近的复现数据，可对照看开源推理栈的真实差距。
Google 宣布开源 TorchTPU，这是 PyTorch 面向 Google TPU 的版本，开发者只需修改配置、无需重写应用，就能把现有 PyTorch 应用迁移到 TPU 和 Google Cloud。
推荐理由：Google 与 Amazon 先后推出 PyTorch 的 TPU、Trainium 适配版本，读者可据此观察 AI 芯片生态的竞争格局。
Hugging Face 宣布通过原生 PyTorch 后端 TorchTPU 在自家生态中支持 TPU，Transformers、Diffusers 和 Kernels 可原生运行在 TPU 上，加载模型时传入 device_map="tpu" 或 pipe.to("tpu") 即可，不再需要 Optimum TPU。
推荐理由：Hugging Face 官方说明 TorchTPU 让 Transformers 与 Diffusers 直接把 TPU 当作普通设备使用，并给出实测加速数据。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新，新增 float8_e4m3fn 张量与 F.scaled_mm，MoE 模型解码比 2.14 快 5–6.5 倍，Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升到 61.3 tokens/s。
推荐理由：Hugging Face 的 PyTorch 团队给出 MPS 后端在 2.15 中的具体提速数字和内存变化，可据此判断 Mac 本地跑模型的实际收益。
Reflection AI 推出开源权重模型 Beam，面向智能体编码和长周期任务，可维护代码、调用工具并完成多步工作流。
推荐理由：Reflection AI 开源 Beam 的权重与部署路径，读者可据此了解其参数规模、上下文长度和 AWS 落地方式。
美国新实验室 Reflection 的首个模型 Beam 在 Hugging Face 开源，采用 MoE 架构，总参数 501B、每 token 激活 23B，支持 1M token 上下文，Apache 2.0 许可，面向编码与智能体场景。
推荐理由：Hugging Face 给出 Beam 的架构细节、量化版本与 vLLM/SGLang 部署命令，可据此评估自托管成本。
IBM 发布 Granite Switch 4.1，包含 Granite-Switch-4.1-8B 和 -30B，通过 Decision aLoRA、Guardian aLoRA 与 Granite-Speech-5.0-Turbo-CTC 在单一托管端点完成对话、决策与语音转写。
推荐理由：Granite Switch 4.1 把决策适配器与 ASR 模型组合进单一端点，读者可据此了解多能力复用同一基座的部署思路。
NVIDIA 发布 RTX Spark，定位为一款面向创作者、玩家和 AI 智能体的 Windows PC，并将于 10 月 16 日在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布活动。
推荐理由：NVIDIA 官方公布 RTX Spark 面向本地 AI 的定位与全球发布活动，读者可据此了解这款 Windows PC 平台的首发安排。
Black Forest Labs 发布 FLUX.3 Image Klein，一个模型同时支持文生图、多参考图生图和边界框布局控制，Diffusers 首日即可运行。
推荐理由：FLUX.3 Image Klein 在 Diffusers 首日支持，并新增用边界框控制画面布局的能力，读者可据此了解文生图与图像编辑的新交互方式。
微软研究院发布零知识虚拟机 Magnetar，可证明 Rust、Go、C 编译后的 RISC-V 程序执行，在笔记本上每秒证明 7.2 至 8.7 百万条处理器指令，15 个基准程序上平均比现有最快 zkVM 快 10 至 39 倍，证明验证约 12 毫秒。
推荐理由：微软研究院公开 Magnetar 的 zkVM 设计与基准数据，读者可了解零知识证明在通用程序上的性能与密码学取舍。
Mistral 发布首个时间序列基础模型系列 Timestral，最大模型仅 209M 参数，在 GIFT-Eval、TIME、fev-bench 三个公开基准上均排名第一，超过此前 SOTA 且参数量只有其三分之二。
推荐理由：Mistral 首次进入时间序列基础模型领域，给出四个尺寸与三项基准排名，可据此判断小参数模型在预测任务上的可用性。
Anchor Browser 与 Amazon Bedrock AgentCore payments 集成，让 AI 智能体在遇到 HTTP 402 Payment Required 时自动完成 x402 协议支付并重试请求，该方案已在 AWS Marketplace 上线。
推荐理由：原文给出 x402 支付与 AgentCore payments 的集成方式，读者可据此判断智能体自动付费的落地路径。
AWS 博客介绍 SpaceXAI 的 Grok 4.7 已在 Amazon Bedrock 上线，并演示如何构建工具调用智能体。作者在三个需要搜索而非查表的一次性答案任务上跑了 72 次智能体运行，共答对 67 次；xhigh 档 18 次全对，low 档答对 15 次但输出 token 约为 xhigh 的八分之一。
推荐理由：作者在 Amazon Bedrock 上实测 Grok 4.7 四档推理强度，给出可迁移的智能体评测与监控方法。
NVIDIA 宣布 RTX Spark 笔记本将于 10 月 16 日上市，最高 128GB 统一内存、1 petaflop AI 算力，首发覆盖数百款游戏与 130 多个加速应用。
推荐理由：原文列出 RTX Spark 首发时本地智能体、模型与开发工具的适配清单，可据此判断本地 AI 工作流的可用边界。
NVIDIA 在 OCP Global Summit 上通过 MGX 开放架构贡献 Vera Rubin 机架与计算托盘设计，为系统厂商提供下一代 AI 工厂基础设施的共同基础。
推荐理由：NVIDIA 在 OCP 峰会上开放 Vera Rubin 机架与计算托盘设计，读者可了解 AI 工厂基础设施的开放标准走向。