如何用 Amazon Bedrock AgentCore 为 AI 智能体构建生产级评估框架
AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向生产多智能体系统的持续质量评估框架,用于在每次发布前及生产环境中持续验证回答是否有据、正确,并追溯失败根因。
AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向生产多智能体系统的持续质量评估框架,用于在每次发布前及生产环境中持续验证回答是否有据、正确,并追溯失败根因。
sparqlite 是一个用 Rust 编写的 SQLite 可加载扩展,将 RDF quad 存入普通 SQLite 表,并在 SQLite 进程内原生执行 SPARQL 1.1 查询与更新。
Simon Willison 用 Claude iPhone 默认应用的聊天模式,让 Claude Opus 5.5 Max 构建 Three.js 游戏「Tree Appreciator」,展示两棵算法生成的树并让玩家欣赏它们的差异。Claude 耗时 3 小时 7 分钟返回成品,包含音乐、动画和成就系统,可玩性相当高。
亚马逊云科技介绍如何用 Amazon Bedrock AgentCore 构建智能体式 IDP 系统,通过 8 个专用智能体在两条图工作流中完成文档分类、提取、校验与学习,新格式无需手工配置模板。系统可自动处理供应商发票、采购订单、保险理赔等新文档类型,并复用已学到的提取指令,官方称通常可在 20 分钟内完成部署。
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现并评估修复安全性,再生成带护栏和回滚指引的修复方案。该方案在 90 天内将关键云暴露减少超过 90%,且未引发任何生产问题。Tami 由调查、安全评分、修复和代码生成四个专用智能体组成,通过单一 API 按任务调用不同基础模型。
基于 Amazon Bedrock AgentCore 构建的 AI 智能体系统可将季度报告、合规文档等自动生成 PowerPoint 演示文稿,内部测试中耗时不到 90 秒。
Amazon SageMaker JumpStart 提供预训练模型目录,可通过 SageMaker Python SDK 部署模型、运行可重复的轻量性能测试并在测试完成后删除端点。
用 Python 3.15 内置的 `profiling.sampling` 对未修改的 web-edit 应用做采样剖析,发现混合换行符保留是编辑负载的主要瓶颈:`preserve_endings` 出现在 15,296 个 CPU 栈的 64.8% 中,`SequenceMatcher.find_longest_match` 占叶子样本的 38.3%。
Amazon Bedrock 的 managed entitlements 支持从中心账户一次性订阅第三方模型,再把访问权限分发到组织内各账户,无需每个账户单独接受 AWS Marketplace 私有定价优惠(MPPO)。
ShipStation Global 工程团队基于 Amazon Bedrock AgentCore 打造了 Slack 内的 AI IT 服务台 Deckhand,可回答常规 IT 与公司问题、识别报错截图并创建和更新 Jira Service Management 工单。
Orca Security 与 AWS 合作在 Amazon Bedrock 上构建了自然语言查询智能体 Discovery AI,可将自然语言问题转换为 Sonar 查询。
AWS 在 Amazon SageMaker AI 上针对融合 MoE 模型实现多项内核优化:通过 Swap-AB 转置矩阵乘法以匹配 NVIDIA Hopper 的 WGMMA 指令布局,在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升,该优化已合入 vLLM 0.24.0 及更高版本。
Amazon Bedrock 现可通过全球跨区域推理,从新加坡、雅加达、马来西亚、泰国和台北五个 AWS 区域调用 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra。
GitHub Copilot 可通过四种方式定制项目上下文:`.github/copilot-instructions.md` 定义仓库级规范,`.github/instructions` 配合 applyTo 字段提供路径级指引。
AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers,可在 Amazon EKS 上把单个大语言模型拆分到两个 GPU 节点,以 prefill/decode 分离方式共用一个 OpenAI 兼容端点。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
一位非 AI 专家在 256GB 统一内存的 M5 Ultra Mac Studio 上安装开源 Hermes Agent,选用 1250 亿参数、约 105GB 的 Qwen 3.8 Flash Next 本地模型,并通过 Telegram bot 远程控制。他用它生成每日晨间简报、按类型整理 400 多款 Steam 游戏、分析财务记录和制作笔记本规格对比表,认为本地运行是处理敏感数据的关键。
Standard Bots 用共享基础模型加演示微调的方式为工业机械臂构建 AI,最大模型仅低数十亿参数,靠零样本感知系统完成机床上下料等任务。其感知骨干网络基于超 10 亿张图像训练,模型在云端训练、在工厂本地 GPU 上推理并输出 action chunks,以规避工厂网络不可靠的问题。
Postman 披露其 Agent Mode 在 Amazon Bedrock 上支撑 4000 万开发者的生产架构,核心经验是把上下文而非模型能力视为主要瓶颈。
Ai2 用 GPU 时间预算、分层公平分配和时间切片合约替换了原有优先级调度器,把"每个研究项目该分多少 GPU 时间"从事后逐案协调变成透明的预算分配流程。Ai2 管理数千块 NVIDIA H100、B200 和 B300 GPU,集群规模 88 至 1024 块,服务约 150 名内部研究者,待处理需求常年是可用算力的 2-3 倍。
Simon Willison 用 ChatGPT 桌面版 Codex 标签页的语音对话模式,在做饭的半小时里几乎全程靠语音为博客开发出 Newsletters 页面,模型为 GPT-6 Astra High。
LegalOn 将 Codex 每日预估成本削减 65%,同时保持开发速度。其做法是按任务匹配 Astra、Sol 和 Luna,并对预算进行策略性管理。
作者借助 HuggingChat 中的 ML Intern,在两天内做出六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy LoRA、相机视角 LoRA、Doodle-in LoRA 和 Agate 4-step 蒸馏模型,总计算成本约 103 美元。
推荐理由:作者用 ML Intern 在两天内自建六个模型,公开了完整提示词与成本明细,可迁移到自己的训练流程。
AWS 发布基于 Amazon SageMaker HyperPod 与 EKS 的多租户参考架构,让多个团队共享同一 GPU 集群。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 在原有预检索 ACL 过滤之上新增实时 ACL 校验,在查询时直接向权威数据源核实权限,避免依赖可能过期或映射错误的 ACL 数据。
Cornerstone OnDemand 基于 Amazon Bedrock 和 Strands Agents 构建多智能体系统 Orion AI,将数据库诊断时间从 45 分钟降至 10 分钟,缩短 78%。该系统还把手动生命周期步骤从 10 步以上压缩为 1 次交互,冗余告警中位数减少 65%,SRE 与数据团队之间的 15 分钟报告延迟降为实时。三人团队用六个月完成交付。
AWS 设计了一个为期六周、每周约四小时的结构化项目,让非工程背景的业务人员用 Amazon Bedrock AgentCore、Strands Agents SDK 和 Amazon Nova 模型动手构建 AI 智能体。
AWS 展示了一套自动化修复工作流,用 AWS Lambda Durable Functions、Amazon EventBridge 和 Amazon Bedrock 承接 AWS DevOps Agent 的调查结果,把根因分析转成预验证的修复方案。
Qlik 基于 Amazon Bedrock 打造 Qlik Answers,为全球超 4 万名客户提供带来源引用的企业级问答。其 Discovery Agent 上线以来已为客户发现超 10 万条异常与离群点,多数启用智能体工具的 Qlik Cloud 账户已在日常使用。
AWS 提出 Agentic Value Model,用于为 agentic automation 构建商业案例,弥补传统 RPA 时代 ROI 模型只算"节省工时×人力成本−建设成本"的缺陷。
AWS 官方博客介绍如何在 Amazon Bedrock AgentCore runtime 上运行开源智能体系统 OpenClaw,构建能跨会话积累上下文的个人助手。
推荐理由:原文给出在 AgentCore 上搭建带长期记忆助手的完整架构与可复用设计准则,含记忆分层与提示词缓存的具体做法。
Parseable 是一款兼容 OpenTelemetry 的全新可观测性工具,提供开源 AGPL 的 Rust 实现(单个约 180MB 二进制文件)、企业版和云托管选项。
AWS 发文解读国际标准 ISO/IEC 42005:2025,说明客户如何将 AI 系统影响评估纳入企业风险管理体系。该标准覆盖评估全生命周期,Annex D 提供与现有 IT 影响评估流程整合、避免重复的方法,Annex E 提供独立实施模板。
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 与 Amazon Bedrock Knowledge Bases,可搭建航空语音旅行助手,让旅客通过语音查询行程、改座位、更新餐食偏好并转接人工客服。
AWS 介绍如何通过 SageMaker Unified Studio 管理 SageMaker HyperPod 集群,在让 ML 团队从项目工作区提交任务的同时保留底层治理控制。文章提出组织、项目、集群、工作负载四层控制模型,分别对应身份、容量与可观测性策略,并强调 HyperPod 连接不会取代 IAM、Amazon EKS 或 Slurm 原有控制。
Simon Willison 让 Claude Opus 5.5 设计文本音乐格式并生成可播放的 artifact,要求达到《猴岛小英雄》初代配乐水准,结果意外地更贴近猴岛主题且质量出乎意料地好。他由此猜测,文本模型作曲可能类似此前的 3D 图形能力,是近几个月才涌现的新能力,但需用其他新旧模型做实验才能确认。
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器,可衡量多智能体系统的准确性、任务成功率和行为表现,并首次将可解释性作为一等评估维度。内置评估器覆盖有用性、任务成功、指令遵循等通用维度,自定义评估器则可校验决策依据、数据引用与成本和服务水平等权衡。该能力支持按需模式用于开发基准与 CI/CD 门禁,在线模式用于生产持续监控与告警。
Amazon Quick 控制台无法直接将用户从 Admin 或 Author 降级为 Reader,update-user API 也会以“You cannot downgrade a user role”报错拒绝。
Amazon Bedrock Managed Knowledge Base 上线智能体检索,通过 AgenticRetrieveStream API 把多部分问题拆成子查询、执行并判断证据是否充分,不足则再次检索,而 Retrieve API 只做一次混合搜索。
基于 Amazon Bedrock AgentCore 的 Quick Resource Migrator 示例 MCP 服务器,可一次调用完成 Amazon Quick 资源(chat agent、action connector、知识库、flow、space)从开发账户到生产账户的跨账户迁移。