Mirendil 发布首个从零预训练模型 Fern,支持 10M token 上下文
中文摘要
Mirendil 发布首个从零预训练模型 Fern,支持 10M token 上下文,可处理大规模代码或 Agent 轨迹。
English Summary
Mirendil released Fern, its first from-scratch pre-trained model, featuring a 10M token context window for code or agent trajectories.
原文节选
Mirendil 发布首个从零预训练的模型 Fern,上下文最高 10M token,约 23MB 代码或 50 万行,接近 Megatron-LM 量级,也可一次装下几天 agent 工作的轨迹。