跳到正文
AWS Machine Learning Blog· Claudio Mazzoni·· 3 小时前AI 评分58

Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式

Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock

AI 导读

AWS 官方博客介绍在 Amazon Bedrock 上调用 OpenAI 模型时如何为 AI 智能体配置提示词缓存,区分隐式与显式两种模式并给出代码示例。文中称在 GPT-6 Astra 的六轮测试中,隐式缓存使输入成本降低约 62%,显式滚动断点降低约 61%;可缓存前缀需至少 1024 tokens,TTL 至少 30 分钟。

来源:AWS Machine Learning Blog · aws.amazon.com