百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构
中文摘要
百度开源 ERNIE 5.5 Flash Base 基座模型,采用 280B 参数 MoE 架构,预训练 33.5 万亿 token,支持最高 100 万 token 上下文。
English Summary
Baidu open-sources ERNIE 5.5 Flash Base, a 280B MoE model with 14B active parameters, trained on 33.5T tokens and supporting up to 1M token context.
Original Excerpt
百度发布开源基座模型 ERNIE-5.5-Flash-Base,刻意不带微调或后训练,交由开发者自行处理,后续将推出后训练版本。模型采用 MoE 架构,总参数 280B、每输入激活 14B,预训练数据 33.5 万亿 token,训练上下文最长 128,000 token,微调和推理设计上支持到 100 万 token。