Luma AI 打包多模态掩码精确序列并行
中文摘要
Luma AI推出多模态掩码精确序列并行技术,支持分层选择注意力机制,在128块H100上性能优于现有混合方案,且数值精度一致。
English Summary
Luma AI's new sequence parallelism for multimodal masks selects attention mechanisms per layer, outperforming FlashMask+Ulysses on 128 H100s with consistent single-GPU numerical precision.
Original Excerpt
面向打包多模态掩码的精确序列并行。 它按层选择 ring attention、稀疏 all-to-all 或 Ulysses,数值与单 GPU 一致,并在最多 128 块 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。 https://lumalabs.ai/news/packed-multimodal-attention