Luma· @LumaLabsAI · X·· 7 天前AI 评分32
AI 导读
面向打包的多模态掩码的精确序列并行。 它按层选择 ring attention、稀疏 all-to-all 或 Ulysses，匹配单 GPU 数值精度，并在最多 128 个 H100 上的 48 个用例中的 47 个击败了 FlashMask + Ulysses 混合方案。 https://lumalabs.ai/news/packed-multimodal-attention
正文 · 原文
Exact sequence parallelism for packed multimodal masks.
It picks ring attention, a sparse all-to-all or Ulysses per layer, matches single-GPU numerics, and beats a FlashMask + Ulysses hybrid in 47 of 48 cases on up to 128 H100s.
来源：Luma · x.com