Ai2 发布 Olmo-core 3:面向大规模 MoE 的开源可扩展训练框架
中文摘要
Ai2发布Olmo-core 3,这是支持万亿参数MoE模型的高效开源训练框架,助力下一代模型研发。
English Summary
Ai2 launched Olmo-core 3, an open-source framework enabling efficient training of trillion-parameter MoE models for next-gen AI.
Original Excerpt
Ai2 发布 Olmo-core 3,这是面向大规模混合专家(MoE)模型的开源训练框架,设计目标是将 MoE 训练扩展到万亿参数级别,也是下一代 Olmo 模型的核心训练系统之一。