Aleph Alpha 发布技术报告:开源德英双语 MoE 模型 Kolibri(78.1B 参数,Apache 2.0)
中文摘要
Aleph Alpha 发布开源德英双语 MoE 模型 Kolibri,总参数 78.1B,每 token 激活 3.46B,采用 Apache 2.0 许可。
English Summary
Aleph Alpha released Kolibri, an open-weight bilingual German-English MoE model with 78.1B total parameters and 3.46B active parameters per token, under Apache 2.0.
原文节选
Aleph Alpha 发布技术报告,介绍开源权重模型 Kolibri,一个德英双语 MoE Transformer,总参数 78.1B、每 token 激活 3.46B(4.4%),采用 Apache 2.0 许可,权重见 https://huggingface.co/Aleph-Alpha/kolibri-1。