返回首页
RadarAI··论文与技术

百度开源 ERNIE 5.5 Flash Base 基座模型,280B 参数 MoE 架构

中文摘要

百度开源 ERNIE 5.5 Flash Base 基座模型,采用 280B 参数 MoE 架构,预训练 33.5 万亿 token,支持最高 100 万 token 上下文。

English Summary

Baidu open-sources ERNIE 5.5 Flash Base, a 280B MoE model with 14B active parameters, trained on 33.5T tokens and supporting up to 1M token context.

原文节选

百度发布开源基座模型 ERNIE-5.5-Flash-Base,刻意不带微调或后训练,交由开发者自行处理,后续将推出后训练版本。模型采用 MoE 架构,总参数 280B、每输入激活 14B,预训练数据 33.5 万亿 token,训练上下文最长 128,000 token,微调和推理设计上支持到 100 万 token。