返回首页
RadarAI··论文与技术

Mirendil 发布首个从零预训练模型 Fern,支持 10M token 上下文

中文摘要

Mirendil 发布首个从零预训练模型 Fern,支持 10M token 上下文,可处理大规模代码或 Agent 轨迹。

English Summary

Mirendil released Fern, its first from-scratch pre-trained model, featuring a 10M token context window for code or agent trajectories.

原文节选

Mirendil 发布首个从零预训练的模型 Fern,上下文最高 10M token,约 23MB 代码或 50 万行,接近 Megatron-LM 量级,也可一次装下几天 agent 工作的轨迹。