英伟达MoE新开源：一行import，微调加速3.7倍
中文摘要
英伟达开源MoE优化，基于Transformers v5，通过专家并行等技术实现3.7倍微调加速。
English Summary
NVIDIA open-sources MoE optimizations on Transformers v5, accelerating fine-tuning 3.7x using expert parallelism, DeepEP, and TransformerEngine.
Original Excerpt
在Transformers v5的基础上，增加了专家并行、DeepEP和TransformerEngine