Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化

Amazon SageMaker AI 通过 Swap-AB 技术优化了 NVIDIA Hopper 架构下的 WGMMA 指令利用率，通过矩阵转置解决了 MoE 模型解码阶段的性能瓶颈，在 H200 上实现了 2%–4% 的端到端吞吐量提升，该优化已集成至 vLLM 0.24.0 及更高版本。