跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

43 条精选近 30 天 36 条共收录 262 条

更新

精选归档 · 第 2 页

10月9日周五第 21–40 条
  1. Hugging Face Blog76

    作者用 ML Intern 两天自建六个模型,总花费约 103 美元

    作者借助 HuggingChat 中的 ML Intern,在两天内做出六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。

    推荐理由:作者用 ML Intern 在两天内自建六个模型,公开了完整提示词与成本明细,可迁移到自己的训练流程。

10月8日周四
  1. Simon Willison78

    Anthropic 发布 Claude Haiku 5.5 并调整 API 计费

    Anthropic 发布快速低成本模型 Claude Haiku 5.5,定价与 OpenAI GPT-6 Luna 一致,为每百万 token 输入 0.10 美元、输出 0.50 美元,超过 100,000 token 后涨至 0.50/2.50 美元。

    推荐理由:对比 Haiku 5.5 与 GPT-6 Luna 的定价和 tokenizer 变化,并给出实测成本与耗时数据。

  2. NVIDIA Blog78

    NVIDIA 与 Microsoft 发布 RTX Spark 笔记本和 Windows 智能体基础设施

    NVIDIA 与 Microsoft 在旧金山 Windows AI and Surface 活动上宣布为 Windows PC 的 AI 智能体共同设计软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断 Windows 端侧智能体的落地条件。

  3. GitHub Blog · AI & ML62

    GitHub 推出基于 ModernBERT 的通用密钥检测模型,扩展 push protection

    GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用代码上下文识别无固定格式的密钥,候选批次评估耗时低于 2 毫秒,可将可拦截的密钥数量提升一倍以上。

    推荐理由:GitHub 公开了九季度密钥泄露数据,并给出用分类器把防护前移到 push 环节的具体做法与开放节奏。

  4. Microsoft Research62

    微软研究院开源 Agent Lightning v1.0:3500 行轻量级 Agentic RL 框架

    微软研究院亚洲团队开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重新实现 agent。

    推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出 6000 样本提升 14.6 个百分点的完整流程。

10月7日周三
10月6日周二
  1. AWS Machine Learning Blog60

    GLM 5.3 上线 Amazon Bedrock

    智谱(Z.ai)的 GLM 5.3 已在 Amazon Bedrock 上线,这是一个 753B 参数的 MoE 模型,面向编码和长程智能体任务优化。Bedrock 提供全托管 API、跨区域推理、提示词缓存和服务层级,支持 OpenAI 兼容的 Responses 与 Chat Completions API 以及 Invoke 和 Converse API。

    推荐理由:GLM 5.3 以 753B MoE 模型上线 Amazon Bedrock,读者可了解其编码与长程智能体能力及托管接入方式。

10月2日周五
  1. AWS Machine Learning Blog60

    在 Amazon SageMaker AI 上用多轮 RL 微调搜索智能体

    AWS 团队介绍如何用 Amazon SageMaker AI 的多轮强化学习(MTRL)微调 Qwen3.6-27B 搜索智能体,仅调整 max_epochs、global_batch_size、rollout_max_concurrency 三个超参数,其余走默认值。

    推荐理由:AWS 团队公开了用多轮 RL 微调搜索智能体的完整配置与四个基准的对比数据,可据此评估该方法在自有检索场景的迁移成本。

  2. Google Research62

    Google 发布基于 TEE 的新一代联邦学习系统

    Google 宣布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,并已由 Gboard 采用。系统通过访问策略公开透明日志 Rekor、KMS 密钥管理与可复现构建,让外部审计者能核查服务端实际运行的代码。Gboard 已用该系统上线英语和日语下一词预测模型,训练瓶颈从设备端转移到服务端,计算时间较此前系统显著加快。

    推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的落地情况,可了解隐私可验证训练的实现路径。

  3. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,支持双机集群扩展本地 AI

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备本地运行。

    推荐理由:原文给出 64GB 新配置的定价、上市时间与双机集群方式,读者可据此判断本地跑大模型的硬件门槛。

9月30日周三
  1. NVIDIA Blog60

    NVIDIA 与 CoreWeave 将 Vera Rubin NVL72 投入生产,Cognition 为首家客户

    CoreWeave 宣布在 CoreWeave Cloud 上线 NVIDIA Vera Rubin NVL72 系统与 Spectrum-X 102.4T 以太网网络,成为首批向客户交付该平台的云厂商之一,Cognition 是首个在生产环境运行 Vera Rubin 的客户。

    推荐理由:CoreWeave 上线 Vera Rubin NVL72 并公布 Devin 实测吞吐数据,可据此判断智能体编码负载的算力成本走向。

9月28日周一
  1. Hugging Face Blog71

    H 公司发布 Holo4 系列智能体模型,含 27B 与 35B-A3B 两个版本

    H 公司发布 Holo4 系列智能体模型,包含 27B dense 和 35B-A3B MoE 两个版本,均已上线 H Models API,权重以 BF16、FP8、NVFP4 和 4-bit GGUF 格式开源在 Hugging Face,同时发布基于 Nemotron 3 Nano Omni 的 Holotron4 Nano。

    推荐理由:Holo4 同时支持 GUI、代码、MCP 与 API 四种接口,并公开全部评测轨迹,读者可据此判断通用计算机智能体的成本与能力边界。

9月24日周四
  1. Microsoft Research62

    微软研究院:将物理 AI 推理卸载到边缘或云端可提升机器人性能与续航

    微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU 能提升任务成功率、支持更大模型并延长续航。

    推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出可复用的 Kubernetes 卸载工具链,读者可据此判断物理 AI 的部署取舍。

  2. Google DeepMind62

    Google DeepMind 为 Private AI Compute 引入服务端持久记忆

    Google DeepMind 公布 Private AI Compute 的新技术更新,将为其平台带来私有化的服务端持久记忆,实现跨设备的长期上下文连续性。该架构把数据封存在加密存储中,解密密钥仅保留在用户个人设备上,模型需要访问时通过端到端加密通道连接受信任执行环境,在隔离内存中临时解密、处理并立即重新加密。

    推荐理由:原文说明了云端持久记忆如何用设备端密钥与安全隔离环境兼顾跨设备连续性与隐私,读者可据此判断个人 AI 助手的记忆架构走向。

9月17日周四
  1. GitHub Blog · AI & ML82

    GitHub 用 Copilot 把 Copilot 运行时迁移到 Rust

    GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,AI agent 写了其中大部分代码,分布在 128 个合入 main 的 PR 中并增量发布。

    推荐理由:作者以亲历者身份给出把 Copilot 运行时从 TypeScript 迁到 Rust 的完整工程细节,可迁移到大规模 agent 协作开发。

9月9日周三
  1. Mistral AI60

    Mistral 用 AI 智能体迁移 4 万行 Fortran 77 遗留代码

    Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 的油藏模拟器迁移到 C++,该代码库没有测试套件和集中文档。团队先搭建数值对齐校验框架,用自定义解析器生成调用树并让上百个智能体结合 Mistral OCR 补文档,再以规划、编码、测试、审查的智能体工作流逐模块迁移,并保留人工审核环节。

    推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,其中先建数值对齐校验、再让智能体文档化的做法可迁移到其他遗留系统改造。