Amazon SageMaker AI 多轮强化学习实操指南
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的端到端实操指南,以 Wordle 为例,把智能体和奖励函数部署到 Amazon Bedrock AgentCore,由 GRPO 更新 LoRA 适配器。
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习(MTRL)的端到端实操指南,以 Wordle 为例,把智能体和奖励函数部署到 Amazon Bedrock AgentCore,由 GRPO 更新 LoRA 适配器。
Bayer Crop Science 基于 Amazon Bedrock AgentCore 构建了多智能体自然语言决策引擎 ADE,第一阶段约 80% 的用户问题无需工程师介入即可解决。
针对 SageMaker AI 实时端点更新配置时 CloudFormation/CDK 部署失败的问题,AWS 给出一个可复用 CDK construct,用三个自定义资源在端点更新前后自动注销并重新注册 Application Auto Scaling 目标。
OpenAI 通过可靠的多租户架构、全局缓存和 Azure Cosmos DB 扩展 Habitat 存储系统,使 ChatGPT 的读取速度提升 12 倍。该系统需支撑超过 10 亿 ChatGPT 用户,文章为下篇,聚焦多租户与缓存设计。
IskayPet 基于 Amazon Bedrock Managed Knowledge Bases 构建企业知识助手,覆盖零售运营、兽医护理、人事入职和采购,支持四种语言、三个国家,无需自建 RAG 基础设施。
在 Amazon SageMaker AI 的实时端点上托管 Kokoro-82M 语音合成模型,把 AI 智能体生成的每个句子即时送入合成,让音频在完整回复生成前就开始播放。
Amazon Quick 是 AWS 的 HIPAA-eligible 服务,其 Web、桌面和移动客户端均可在签署 AWS BAA 后用于处理 PHI。该平台通过 ACL 感知检索、聊天与反馈日志,以及对每个 chat agent 操作权限的控制来满足治理需求,并支持通过 MCP 添加自定义工具。
Rescale 基于 AWS 的 AI-DLC 框架和 Strands Agents 构建了 AI 分诊智能体,从问题定义到 staging 部署仅用五天,数周内进入生产。
针对 Amazon SageMaker AI 上自托管 TTS 端点自动扩缩容目标值靠猜的问题,该方案将 82M 参数的 Kokoro-82M 以自定义容器部署在实时端点上,用实测的单实例并发上限 Q_max 和端到端扩容耗时 T_total 通过算术推导出扩容阈值、缩容阈值与两个冷却时间。
AWS 发布方案,通过 AWS PrivateLink 的 VPC 端点与 Quick 的 VPC 连接,让 Amazon Quick 在不经过公网的情况下访问企业防火墙后的本地数据源。
AWS 解决方案架构团队开源了多智能体系统 Deep Insight,用于把 CSV 数据和自然语言提示自动转成带引用的 DOCX 分析报告,并总结出生产环境中的五类挑战及对应方案。
基于 Strands Agents 构建的自适应智能体智能框架(AAIF)用 llama3.2:1b 作为编排层,将常规任务交给 Ollama 本地 SLM 处理,复杂请求经 boto3 路由至 Amazon Bedrock 云端模型。该框架分智能编排、本地处理、云端处理三层,可运行在 8 GB 内存的 Raspberry Pi 等边缘设备上,也可全云端或混合部署。
在单台 trn2.48xlarge 上,torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,并以三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 后端、torchtitan 原生 Qwen3 实现,以及挂载 NKI MoE kernel。
美国非营利组织 U.S. Hunger 借助 Amazon Quick 让领导层直接探索组织数据,并通过 Quick Spaces 共享 KPI 定义、财务文档与分析,目前已有 17 名同事获得访问权限。其数据由 Impact Manager 平台经 SQL Server 每晚 2 点(美东时间)刷新至 SPICE 内存引擎,CEO 日常以聊天为主要 AI 工作区,最常用 Spaces 功能。
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。
Hugging Face 博客发布《Profiling TorchNeuron》系列第一篇,讲解如何在 AWS Trainium 上用 TorchNeuron 系统分析推理性能。
OpenAI 为 ChatGPT 构建了由 LLM 驱动的广告技术栈,用于理解对话意图、将广告与回答内容分离,并大规模投放相关广告。该技术栈的设计目标是兼顾用户信任与广告相关性。
i14 与 AWS 合作,通过 TorchNeuron Native 的原生 PyTorch 支持,将采用 Gated Linear Attention 的 Laplace 3B 线性注意力模型移植到 AWS Trainium2,并保留其 GLA 设计与 Muon 优化器。
Octave 在 Amazon Bedrock 上用 Cohere Embed v4 构建三层多租户 AI 基础平台,将每个用例的部署时间缩短 50%。该平台为 Reliance 质量管理系统的 650 多家企业客户嵌入 2 亿级文档,并通过 AgentCore Gateway 隔离执行、Bedrock Guardrails 双重过滤保障租户数据不越界。
在 Amazon SageMaker HyperPod 上,团队用 SFT 与 GRPO 微调开源推理模型 GPT-OSS-20B,使其按指定语言进行链式推理。
Amazon Quick 与 Amazon Bedrock AgentCore 组合,把企业 MCP 服务器变成可组合工具层,让供应链管理者用自然语言跨系统提问并直接执行操作。演示中一次查询识别出 TechComp 停产影响 23 笔订单、$750K 营收面临风险,并自动生成应急 RFQ。答案来自实时记录系统而非模型记忆,所有变更需指定人工审批。
Smartsheet 已在 AWS 上线正式可用的 MCP Server,AI 助手可通过标准化协议读写和管理 Smartsheet 数据,覆盖超过 40 个工具,用于探索、创建和管理 sheet、行、列与自动化。
Smartsheet 已在 AWS 上推出正式可用的 MCP Server,AI 助手可通过标准化协议读取、写入和管理 Smartsheet 数据,覆盖表格、行、列与自动化等 40 多个工具。该服务提供三个区域端点,支持 OAuth 2.0 或 Personal Access Token 认证,可接入 Amazon Quick 与 Kiro 等 MCP 客户端。
AWS 发布教程,介绍用 AWS Agent Registry 在运行时按语义搜索发现 MCP 服务器和 A2A 智能体,再由编排器动态构建客户端执行请求。示例代码部署订单管理 MCP 服务器、两个 A2A 智能体和一个编排器,演示仅 MCP、MCP 加 A2A、以及纯语义匹配三个场景。
三位拥有十年以上 Java 经验的 Java Champion 分享了在生产与开源项目中使用 GitHub Copilot 的实践。Vlad Mihalcea 借助 Copilot 将原本需数周的 Optimizer 事件历史 Web 应用开发缩短到两天,并用 65 篇文章训练自定义 skill 模仿自己的写作风格。
AWS 博客演示了以 AtScale 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体的 Customer 360 方案,AtScale 用基于 YAML 的 SML 建模,并从单一模型同时通过 SQL、XMLA 和 MCP 三种协议暴露。
AWS 发布系列第三篇教程,演示用 Strategy Mosaic 作为语义层、在 Amazon Bedrock AgentCore 上运行 Strands 智能体,跨 Amazon Redshift 与 Amazon Aurora 两个关联模型实现无需 ETL 的 Customer 360。
本文演示用 Denodo Platform 作为语义层、配合 Amazon Bedrock AgentCore 托管智能体,联邦查询 Amazon Aurora、Amazon Redshift 和本地 PostgreSQL 三处数据源。
Eon 用 Amazon Bedrock AgentCore 的 MCP Gateway 替换了逐工具凭证和本地 MCP 进程,让开发者和自主智能体通过单一认证网关统一访问 AWS、GCP、Azure 三朵云上的调查工具。
AWS 与 Keyfactor 联合发布参考架构,用 Keyfactor EJBCA 的 X.509 PKI 为基于 MCP 的 AI 智能体建立加密身份,填补 MCP 无内置认证标准的缺口。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 在 MPS 后端的更新,新增 float8_e4m3fn 张量与 F.scaled_mm,MoE 模型解码比 2.14 快 5–6.5 倍,Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升到 61.3 tokens/s。
推荐理由:Hugging Face 的 PyTorch 团队给出 MPS 后端在 2.15 中的具体提速数字和内存变化,可据此判断 Mac 本地跑模型的实际收益。
GitHub Copilot 应用中的会话可直接在 VS Code 中打开并继续,保留原有对话、代码改动和工作上下文。VS Code 会加载该会话关联的 worktree,并在 Copilot 侧边栏显示原会话,用户可逐行审查 diff、手动编辑、本地运行测试,最后提交并推送到会话对应的 pull request。
AWS 为 vLLM 增加双向 KV 传输,让 decode 节点把已算好的 KV 回传给 prefill 节点,避免多轮对话中重复计算上下文。在 Amazon EC2 P5en 实例、EFA 网络、1P1D 部署的测试中,最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍,zai-org/GLM-5-FP8 降低约 3.3 倍。
vLLM 新增 push 模式的 NIXL connector,把 KV 传输的协调与准备工作移出首 token 关键路径,在 1P1D 的 Amazon EC2 P5en + EFA 部署上,Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。
Deepgram 与 AWS 合作将 Nova-3 语音转文字模型移植到 Trainium2,用于客服中心分析、医疗转录等离线批处理场景。最终配置在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本,每美元处理的音频量比原有算力方案提升 11%–70%。该优化也惠及在 Amazon SageMaker AI 上自托管 Deepgram 模型的客户。
Benefit Street Partners 的 Anant Kumar 借助 Codex 进行代码审查并加快后续跟进,从而更快回答客户问题。他构建的工具用于比较贷款估值和分析信贷协议。
AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向生产多智能体系统的持续质量评估框架,用于在每次发布前及生产环境中持续验证回答是否有据、正确,并追溯失败根因。
亚马逊云科技介绍如何用 Amazon Bedrock AgentCore 构建智能体式 IDP 系统,通过 8 个专用智能体在两条图工作流中完成文档分类、提取、校验与学习,新格式无需手工配置模板。系统可自动处理供应商发票、采购订单、保险理赔等新文档类型,并复用已学到的提取指令,官方称通常可在 20 分钟内完成部署。
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,再生成带护栏和回滚指引的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且未引发任何生产问题。Tami 由调查、安全评分、修复和代码生成四个专用智能体组成,通过单一 API 按任务调用不同基础模型。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可将季度报告、合规文档等自动生成 PowerPoint 演示文稿,内部测试中耗时不到 90 秒。