AWS 优化 MoE 融合内核并合入 vLLM
热点事件历史事件
AWS 优化 MoE 融合内核并合入 vLLM
1 篇报道1 个报道来源12 天前更新
先了解这件事
AI 综述
AWS 在 Amazon SageMaker AI 上为融合 MoE 模型做了多项内核优化，其中 Swap-AB 转置矩阵乘法用于匹配 NVIDIA Hopper 的 WGMMA 指令布局，AWS 称在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升。 AWS 称，为变长参数添加 do_not_specialize 注解消除了 Triton JIT 重编译，在 H200、8 路张量并行下将 TTFT 提升 9%。 这些优化已合入 vLLM，AWS 称 vLLM 0.22.0 及更高版本可用；同一篇报道另称相关改进已合入 vLLM 0.24.0 及更高版本，并可通过 AWS LMI v28 容器获得。
AI 根据报道生成 · 12 天前更新
最新进展10月13日 23:17
Amazon SageMaker AI 上的 MoE 内核工程优化实践报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- AWS Machine Learning BlogAmazon SageMaker AI 上的 MoE 内核工程优化实践
AWS 在 Amazon SageMaker AI 上针对融合 MoE 模型实现多项内核优化：通过 Swap-AB 转置矩阵乘法以匹配 NVIDIA Hopper 的 WGMMA 指令布局，在 H200 上为大规模 MoE 模型带来 2–4% 端到端输出吞吐提升，该优化已合入 vLLM 0.24.0 及更高版本。