EXL 谈如何设计可持续演进的 AI 服务框架
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其主张先按业务负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致的 GPU 显存瓶颈为例,强调先测量再优化。框架还应便于吸收新模型与新硬件,使换模型成为评估与配置决策而非架构重建。
EXL 提出企业 AI 的竞争优势正从选模型转向围绕模型构建的服务框架(serving harness),即架构、内存管理、调度与推理优化的工程系统。其主张先按业务负载确定约束再定架构,并以 KV cache 随并发与上下文增长导致的 GPU 显存瓶颈为例,强调先测量再优化。框架还应便于吸收新模型与新硬件,使换模型成为评估与配置决策而非架构重建。
Moshi 正在为大宗商品交易员构建一款推荐引擎,把市场信息与交易员持仓真正相关的部分连接起来。CEO Anekha Sokhal 将其形容为 Bloomberg、Claude 与 Netflix 的结合体:市场数据、可操作数据的界面,以及针对交易员定制的推荐。
Celonis 企业 AI 首席科学家 Devavrat Shah 提出“决策智能”,认为 AI 智能体必须理解任务在业务流程中的角色与约束,否则会遗漏关键限制、造成高昂错误或浪费算力。他建议企业先连接现有流程与数据,构建上下文层让智能体在护栏内运行并输出可人工审核的建议,再从具体业务决策切入验证提速与价值。
WD 内部测量显示,一段 8 秒 AI 视频(用户拿到的是 3.97MB 的 720p 文件)在后端留下超过 500MB 关联数据,是输出文件体积的 130 倍。
Tenex 联合创始人 Alex Lieberman 与 CJ Hess 在 AIE New York 分享了公司如何把"按交付成果付费"的模式扩展到工程组织,目前公司已增长至 75 人,客户涵盖财富 2000 强企业与中型市场公司。
SF Compute 正在把 GPU 算力做成可交易市场,并亲自承担物理交付:买家拿到的是可用算力而非现金结算。CEO Evan Conrad 称,公司从转租集群扩展到自建云运营能力,按中断性、恢复速度、GPU 代际与网络配置等约束撮合订单。他认为 NVIDIA 因缺乏中立性难以自建此类交易所,并提到可动态切分 InfiniBand 网络结构。
企业 AI 的衡量重点正从 token 或 GPU 小时单价转向"每个有用产出的有效成本",即完成可实际使用的工作所需的平台、模型、运营与容量总成本。企业可选择自建栈、按需消费或集成私有 AI 平台三条路径,HPE Private Cloud AI 将调度、模型选择、GPU 分区和 KV-cache 管理作为运营杠杆,并配套 90 天前置工程师服务。
AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张用 Scope、Know、Bound、Observe 四层机制让智能体在可验证的边界内自主行动,把人工审批留给真正需要判断的决策。
Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 访谈中介绍,Dyna-2 是预训练于超过一百万小时人类视频的世界动作模型,先预测未来视频再生成机器人动作,后续的 Dyna-2.1 已作为实体机器人智能体落地。
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析走向基础模型、physical AI 与 agentic AI,但因其直接作用于物理系统,安全与可靠性成为部署核心。
EmbeddingGemma 2 采用 Apache 2.0 许可证,Simon Willison 认为嵌入模型不应使用闭源、专有、仅托管的形式。嵌入模型通常需计算并存储数千乃至数百万条嵌入向量,一旦供应商停供专有模型,用户就得为重新计算这些已存向量付费。他更愿意付费使用托管版本,同时保留在停供时自行运行开放权重版本或另寻供应商的余地。
Simon Willison 呼吁按量付费的 API 和服务默认设置硬性预算上限,即达到每月 $X 后直接切断并返回错误,而非仅发警告邮件。他指出 AWS 已在 9 月 16 日推出月度支出限额功能,项目达到限额后当月暂停,但目前仅向有限客户开放;Google Cloud 则在 7 月推出了 Spend Caps。
MIT Technology Review 报告指出,2026 年全球 AI 投资将达 2.5 万亿美元,同比增长 44%,但多数企业仍未能靠 AI 实现营收增长,智能散落在各部门孤岛中。报告将 AI 从工具转向运营模式的转变称为“智能体转型”,主张先重构流程与数据基础设施,再选择模型,并以可组合架构和 AI 主权控制应对多云与数据驻留限制。
NVIDIA 提出 AI 工厂投资回报取决于三个要素:每兆瓦产出能力、硬件使用寿命和 token 需求,并以产出、耐用、通用三大特性对应。SemiAnalysis AgentX 数据显示,Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上,在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍。
HPE 提出,当 AI 从试验走向客服、IT、研究等常驻生产工作负载,按 token 消费的模式会让支出变成难以预测的月度变动项,企业需评估自有算力的盈亏平衡点。
Import AI 474 期关注三项内容:Michael Levin 提出心智是来自"柏拉图式模式空间"的非物理模式,身体与机器只是其进入物理世界的接口。智谱(Zhipu)启动了一个"外层 RSI 循环",探索递归自我改进。此外还讨论了将 TPU 部署到太空,以及机器人领域正为 LLM 时刻做准备、但缺少通用算法。
伯克利 EPIC Data Lab 提出近零推理成本时代数据系统面临三大挑战:面向智能体的数据系统、由智能体运行的数据系统、由智能体构建的数据系统。GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不到 $1,部分厂商已低于 $0.10,推理价格年降幅在 9x 到 900x 之间,中位数约 50x。