EUROPA 用 PyTorch 与 TorchTitan 在 JUPITER 公有机群训练 1T 参数 MoE
中文摘要
中国:欧盟用PyTorch和TorchTitan在JUPITER超算上训练1T参数MoE,吞吐量大幅提升。
English Summary
English: EU used PyTorch and TorchTitan on JUPITER supercomputer to train 1T parameter MoE, significantly boosting throughput.
Original Excerpt
EUROPA 联盟借助 PyTorch 与 TorchTitan,在 EuroHPC 的 JUPITER 超算上把约 1T 参数 MoE 的预训练吞吐从每 GPU 90 tokens/s 提升到约 1,300 tokens/s,使用 384 块 NVIDIA GH200(96 节点)。