如何用 Amazon SageMaker JumpStart 部署并评测模型
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型、运行可重复的轻量性能测试并在测试完成后删除端点。
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型、运行可重复的轻量性能测试并在测试完成后删除端点。
Amazon Bedrock 的 managed entitlements 支持从中心账户一次性订阅第三方模型,再把访问权限分发到组织内各账户,无需每个账户单独接受 AWS Marketplace 私有定价优惠(MPPO)。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,可回答常规 IT 与公司问题、识别报错截图并创建和更新 Jira Service Management 工单。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
AWS 在 Amazon SageMaker AI 上针对融合 MoE 模型实现多项内核优化:通过 Swap-AB 转置矩阵乘法以匹配 NVIDIA Hopper 的 WGMMA 指令布局,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
Amazon Bedrock 现可通过全球跨区域推理,从新加坡、雅加达、马来西亚、泰国和台北五个 AWS 区域调用 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra。
GitHub Copilot 可通过四种方式定制项目上下文:`.github/copilot-instructions.md` 定义仓库级规范,`.github/instructions` 配合 applyTo 字段提供路径级指引。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers,可在 Amazon EKS 上把单个大语言模型拆分到两个 GPU 节点,以 prefill/decode 分离方式共用一个 OpenAI 兼容端点。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
Postman 披露其 Agent Mode 在 Amazon Bedrock 上支撑 4000 万开发者的生产架构,核心经验是把上下文而非模型能力视为主要瓶颈。
Ai2 用 GPU 时间预算、分层公平分配和时间切片合约替换了原有优先级调度器,把"每个研究项目该分多少 GPU 时间"从事后逐案协调变成透明的预算分配流程。Ai2 管理数千块 NVIDIA H100、B200 和 B300 GPU,集群规模 88 至 1024 块,服务约 150 名内部研究者,待处理需求常年是可用算力的 2-3 倍。
LegalOn 将 Codex 每日预估成本削减 65%,同时保持开发速度。其做法是按任务匹配 Astra、Sol 和 Luna,并对预算进行策略性管理。
作者借助 HuggingChat 中的 ML Intern,在两天内做出六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
推荐理由:作者用 ML Intern 在两天内自建六个模型,公开了完整提示词与成本明细,可迁移到自己的训练流程。
AWS 发布基于 Amazon SageMaker HyperPod 与 EKS 的多租户参考架构,让多个团队共享同一 GPU 集群。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 在原有预检索 ACL 过滤之上新增实时 ACL 校验,在查询时直接向权威数据源核实权限,避免依赖可能过期或映射错误的 ACL 数据。
Cornerstone OnDemand 基于 Amazon Bedrock 和 Strands Agents 构建多智能体系统 Orion AI,将数据库诊断时间从 45 分钟降至 10 分钟,缩短 78%。该系统还把手动生命周期步骤从 10 步以上压缩为 1 次交互,冗余告警中位数减少 65%,SRE 与数据团队之间的 15 分钟报告延迟降为实时。三人团队用六个月完成交付。
AWS 设计了一个为期六周、每周约四小时的结构化项目,让非工程背景的业务人员用 Amazon Bedrock AgentCore、Strands Agents SDK 和 Amazon Nova 模型动手构建 AI 智能体。
AWS 展示了一套自动化修复工作流,用 AWS Lambda Durable Functions、Amazon EventBridge 和 Amazon Bedrock 承接 AWS DevOps Agent 的调查结果,把根因分析转成预验证的修复方案。
Qlik 基于 Amazon Bedrock 打造 Qlik Answers,为全球超 4 万名客户提供带来源引用的企业级问答。其 Discovery Agent 上线以来已为客户发现超 10 万条异常与离群点,多数启用智能体工具的 Qlik Cloud 账户已在日常使用。
AWS 提出 Agentic Value Model,用于为 agentic automation 构建商业案例,弥补传统 RPA 时代 ROI 模型只算"节省工时×人力成本−建设成本"的缺陷。
AWS 官方博客介绍如何在 Amazon Bedrock AgentCore runtime 上运行开源智能体系统 OpenClaw,构建能跨会话积累上下文的个人助手。
推荐理由:原文给出在 AgentCore 上搭建带长期记忆助手的完整架构与可复用设计准则,含记忆分层与提示词缓存的具体做法。
AWS 发文解读国际标准 ISO/IEC 42005:2025,说明客户如何将 AI 系统影响评估纳入企业风险管理体系。该标准覆盖评估全生命周期,Annex D 提供与现有 IT 影响评估流程整合、避免重复的方法,Annex E 提供独立实施模板。
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 与 Amazon Bedrock Knowledge Bases,可搭建航空语音旅行助手,让旅客通过语音查询行程、改座位、更新餐食偏好并转接人工客服。
AWS 介绍如何通过 SageMaker Unified Studio 管理 SageMaker HyperPod 集群,在让 ML 团队从项目工作区提交任务的同时保留底层治理控制。文章提出组织、项目、集群、工作负载四层控制模型,分别对应身份、容量与可观测性策略,并强调 HyperPod 连接不会取代 IAM、Amazon EKS 或 Slurm 原有控制。
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,可衡量多智能体系统的准确性、任务成功率和行为表现,并首次将可解释性作为一等评估维度。内置评估器覆盖有用性、任务成功、指令遵循等通用维度,自定义评估器则可校验决策依据、数据引用与成本和服务水平等权衡。该能力支持按需模式用于开发基准与 CI/CD 门禁,在线模式用于生产持续监控与告警。
Amazon Quick 控制台无法直接将用户从 Admin 或 Author 降级为 Reader,update-user API 也会以“You cannot downgrade a user role”报错拒绝。
Amazon Bedrock Managed Knowledge Base 上线智能体检索,通过 AgenticRetrieveStream API 把多部分问题拆成子查询、执行并判断证据是否充分,不足则再次检索,而 Retrieve API 只做一次混合搜索。
基于 Amazon Bedrock AgentCore 的 Quick Resource Migrator 示例 MCP 服务器,可一次调用完成 Amazon Quick 资源(chat agent、action connector、知识库、flow、space)从开发账户到生产账户的跨账户迁移。
Anthropic 的 Claude Opus 5.5、Claude Sonnet 5.5 与 Claude Sonnet 5 现已在 AWS GovCloud (US) 区域的 Amazon Bedrock 上可用,为 ITAR 等受监管工作负载提供 AI 辅助开发通道。
OpenAI 发布 GPT-6 系列模型选型指南,面向初创公司讲解如何在 GPT-6 家族中挑选模型、调节推理强度、优化提示词与技能、协调工具调用,并为生产环境准备工作流。
AWS 提出 Adjudicated Query 设计模式,让业务用户在 Amazon Quick 聊天界面提问合规问题,实际判定交由确定性规则引擎完成,模型只负责把自然语言转为固定类型操作并叙述结果。该模式通过完整性回执保证"已扫描 = 合规 + 违规 + 模糊 + 不可读",并保留规则版本、条款文本、方法与日期等可辩护记录,适用于租约合规、制裁筛查、保险理赔等高风险场景。
AWS 介绍如何通过 Amazon Bedrock AgentCore Gateway 为 Claude Desktop 接入 Web Search,该能力基于 MCP 兼容、由 Amazon 网页索引支撑,覆盖数百亿文档,查询流量全程留在 AWS 内且无需外部 API key。
AWS 团队介绍如何用 Amazon SageMaker AI 的多轮强化学习(MTRL)微调 Qwen3.6-27B 搜索智能体,仅调整 max_epochs、global_batch_size、rollout_max_concurrency 三个超参数,其余走默认值。
推荐理由:AWS 团队公开了用多轮 RL 微调搜索智能体的完整配置与四个基准的对比数据,可据此评估该方法在自有检索场景的迁移成本。
GitHub 提出 AI 时代开发者应强化的三项技能:学会指挥 AI 智能体而非仅使用它、不轻信 AI 的首次答案、用 AI 节省的时间去解决更大的问题。文中以 GitHub Copilot 内置的 Rubber Duck agent 为例,说明它用第二个模型对计划、代码和测试进行批判性审查,从而发现首个模型遗漏的问题。
AWS Professional Services 构建了一套四智能体模式,在 Amazon Bedrock AgentCore 上运行,将基础设施即代码(IaC)开发时间从每个应用 3 到 4 周缩短至几分钟。
NVIDIA NeMo Agent Toolkit(NAT)可通过实现 MemoryEditor 插件接口,将 Amazon S3 Vectors 接入为自定义持久记忆后端,单索引支持最多 20 亿向量。NAT 是开源、框架无关的智能体构建与优化框架,已内置 Mem0、MemMachine、Redis、Zep 四种记忆提供方,此次方案以多智能体投资研究为示例,部署在 Amazon EKS 上。
Amazon Payments 在 Amazon SageMaker AI 上用多目标上下文多臂老虎机(LinUCB)做产品获客漏斗个性化,七周线上 A/B 测试中,一个人群的漏斗末端转化率取得高个位数相对提升,另一个人群则未见改善,问题出在内容而非模型。
AWS 介绍如何用 Amazon Bedrock AgentCore 构建"环境智能体"(ambient agent):由 Amazon S3 事件通知、EventBridge、Lambda 等事件流触发,而非用户发起对话,智能体在 AgentCore Runtime 上运行并可通过单个 ask_human 工具暂停等待人工审批后继续。
GitHub Copilot 应用中的 canvas(画布扩展)是一种可自定义界面,用户只需在 agent 会话中输入 /create-canvas 并用自然语言描述需求,agent 即可生成看板、发布清单或仪表盘等界面。
GitHub Copilot 应用重建了 pull request 视图,用一个含 2,200 个文件、超 100 万行改动和 400 多条行内评论的开源 PR 做压力测试。其做法是把文档高度拆成确定性的代码几何与动态评论块两套体系:代码行高提前算好,评论高度按块懒测量、以文件和行号锚定,避免滚动跳变。