作者用 ML Intern 两天自建六个模型,总花费约 103 美元
作者借助 HuggingChat 中的 ML Intern,在两天内做出六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
推荐理由:作者用 ML Intern 在两天内自建六个模型,公开了完整提示词与成本明细,可迁移到自己的训练流程。
技术方向
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
43 条精选近 30 天 36 条共收录 262 条
作者借助 HuggingChat 中的 ML Intern,在两天内做出六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
推荐理由:作者用 ML Intern 在两天内自建六个模型,公开了完整提示词与成本明细,可迁移到自己的训练流程。
Anthropic 发布 Claude Haiku 5.5,这是 Haiku 系列约一年来的首次更新,定价与 OpenAI 的 GPT-6 Luna 持平,官方称其平均运行成本比 Haiku 4.5 低约 75%。
推荐理由:汇总了 Haiku 5.5 的定价、第三方评测与 token 消耗数据,可据此判断小模型在智能体工作流中的成本取舍。
Anthropic 发布快速低成本模型 Claude Haiku 5.5,定价与 OpenAI GPT-6 Luna 一致,为每百万 token 输入 0.10 美元、输出 0.50 美元,超过 100,000 token 后涨至 0.50/2.50 美元。
推荐理由:对比 Haiku 5.5 与 GPT-6 Luna 的定价和 tokenizer 变化,并给出实测成本与耗时数据。
Anthropic 发布 Claude Haiku 5.5,这是其迄今最快、最便宜的小模型,平均价格比 Haiku 4.5 低约 75%,10 万 token 以内提示词的价格降幅最高达 90%。
推荐理由:原文给出 Haiku 5.5 的定价与多项基准对比,读者可据此判断小模型在成本敏感任务上的位置。
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上可用。
推荐理由:AWS 官方给出 Haiku 5.5 的定位、成本变化与接入方式,读者可据此判断它在多智能体分层中的位置。
NVIDIA 与 Microsoft 在旧金山 Windows AI and Surface 活动上宣布为 Windows PC 的 AI 智能体共同设计软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。
推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一并给出,读者可据此判断 Windows 端侧智能体的落地条件。
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用代码上下文识别无固定格式的密钥,候选批次评估耗时低于 2 毫秒,可将可拦截的密钥数量提升一倍以上。
推荐理由:GitHub 公开了九季度密钥泄露数据,并给出用分类器把防护前移到 push 环节的具体做法与开放节奏。
微软研究院亚洲团队开源 Agent Lightning v1.0,提出 Harnessed Agentic RL 训练范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重新实现 agent。
推荐理由:微软研究院开源 Agent Lightning v1.0,用约 3500 行代码把真实 harness 直接接入 RL 训练,并给出 6000 样本提升 14.6 个百分点的完整流程。
AWS 官方博客介绍如何在 Amazon Bedrock AgentCore runtime 上运行开源智能体系统 OpenClaw,构建能跨会话积累上下文的个人助手。
推荐理由:原文给出在 AgentCore 上搭建带长期记忆助手的完整架构与可复用设计准则,含记忆分层与提示词缓存的具体做法。
智谱(Z.ai)的 GLM 5.3 已在 Amazon Bedrock 上线,这是一个 753B 参数的 MoE 模型,面向编码和长程智能体任务优化。Bedrock 提供全托管 API、跨区域推理、提示词缓存和服务层级,支持 OpenAI 兼容的 Responses 与 Chat Completions API 以及 Invoke 和 Converse API。
推荐理由:GLM 5.3 以 753B MoE 模型上线 Amazon Bedrock,读者可了解其编码与长程智能体能力及托管接入方式。
AWS 团队介绍如何用 Amazon SageMaker AI 的多轮强化学习(MTRL)微调 Qwen3.6-27B 搜索智能体,仅调整 max_epochs、global_batch_size、rollout_max_concurrency 三个超参数,其余走默认值。
推荐理由:AWS 团队公开了用多轮 RL 微调搜索智能体的完整配置与四个基准的对比数据,可据此评估该方法在自有检索场景的迁移成本。
Google 宣布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,并已由 Gboard 采用。系统通过访问策略公开透明日志 Rekor、KMS 密钥管理与可复现构建,让外部审计者能核查服务端实际运行的代码。Gboard 已用该系统上线英语和日语下一词预测模型,训练瓶颈从设备端转移到服务端,计算时间较此前系统显著加快。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的落地情况,可了解隐私可验证训练的实现路径。
NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4,999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备本地运行。
推荐理由:原文给出 64GB 新配置的定价、上市时间与双机集群方式,读者可据此判断本地跑大模型的硬件门槛。
OpenAI 的 GPT-6 Astra Ultrafast 已在 NVIDIA Blackwell GPU 上运行,并面向 OpenAI API 以及符合条件的 ChatGPT Work 和 Codex 用户开放。
推荐理由:原文给出 Ultrafast 模式相对标准模式的提速幅度与开放入口,读者可据此判断它对编码智能体循环的实际影响。
CoreWeave 宣布在 CoreWeave Cloud 上线 NVIDIA Vera Rubin NVL72 系统与 Spectrum-X 102.4T 以太网网络,成为首批向客户交付该平台的云厂商之一,Cognition 是首个在生产环境运行 Vera Rubin 的客户。
推荐理由:CoreWeave 上线 Vera Rubin NVL72 并公布 Devin 实测吞吐数据,可据此判断智能体编码负载的算力成本走向。
H 公司发布 Holo4 系列智能体模型,包含 27B dense 和 35B-A3B MoE 两个版本,均已上线 H Models API,权重以 BF16、FP8、NVFP4 和 4-bit GGUF 格式开源在 Hugging Face,同时发布基于 Nemotron 3 Nano Omni 的 Holotron4 Nano。
推荐理由:Holo4 同时支持 GUI、代码、MCP 与 API 四种接口,并公开全部评测轨迹,读者可据此判断通用计算机智能体的成本与能力边界。
微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU 能提升任务成功率、支持更大模型并延长续航。
推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出可复用的 Kubernetes 卸载工具链,读者可据此判断物理 AI 的部署取舍。
Google DeepMind 公布 Private AI Compute 的新技术更新,将为其平台带来私有化的服务端持久记忆,实现跨设备的长期上下文连续性。该架构把数据封存在加密存储中,解密密钥仅保留在用户个人设备上,模型需要访问时通过端到端加密通道连接受信任执行环境,在隔离内存中临时解密、处理并立即重新加密。
推荐理由:原文说明了云端持久记忆如何用设备端密钥与安全隔离环境兼顾跨设备连续性与隐私,读者可据此判断个人 AI 助手的记忆架构走向。
GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust,AI agent 写了其中大部分代码,分布在 128 个合入 main 的 PR 中并增量发布。
推荐理由:作者以亲历者身份给出把 Copilot 运行时从 TypeScript 迁到 Rust 的完整工程细节,可迁移到大规模 agent 协作开发。
Mistral 帮助一家欧洲能源运营商把 4 万行 Fortran 77 的油藏模拟器迁移到 C++,该代码库没有测试套件和集中文档。团队先搭建数值对齐校验框架,用自定义解析器生成调用树并让上百个智能体结合 Mistral OCR 补文档,再以规划、编码、测试、审查的智能体工作流逐模块迁移,并保留人工审核环节。
推荐理由:Mistral 公开了用智能体迁移 4 万行 Fortran 的完整流程,其中先建数值对齐校验、再让智能体文档化的做法可迁移到其他遗留系统改造。