返回首页
RadarAI··论文与技术

摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群万亿参数 MoE 模型训练

中文摘要

摩尔线程开源 Megatron-MUSA-Titan,支持万卡集群训练万亿参数 MoE 模型。

English Summary

Moore Threads open-sourced Megatron-MUSA-Titan for trillion-parameter MoE training on 10,000-GPU clusters.

原文节选

摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan,基于其全功能 GPU,面向万卡级集群的万亿参数 MoE 模型训练,覆盖预训练与强化学习两大场景。