摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群万亿参数 MoE 模型训练
中文摘要
摩尔线程开源 Megatron-MUSA-Titan,支持万卡集群训练万亿参数 MoE 模型。
English Summary
Moore Threads open-sourced Megatron-MUSA-Titan for trillion-parameter MoE training on 10,000-GPU clusters.
Original Excerpt
摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan,基于其全功能 GPU,面向万卡级集群的万亿参数 MoE 模型训练,覆盖预训练与强化学习两大场景。