小红书 AllSpark 提出增强上下文学习能力的数据管线,35B 模型追平万亿参数前沿模型
中文摘要
小红书AllSpark通过GLM-5.2合成数据管线改写文档,使35B模型在上下文学习上追平万亿参数模型。
English Summary
Xiaohongshu AllSpark's synthetic data pipeline uses GLM-5.2 to rewrite documents, enabling a 35B model to match trillion-parameter models in in-context learning.
原文节选
小红书 AllSpark 团队提出一套不依赖人工标注的合成数据训练流程,用 GLM-5.2 对 3515 篇公开文档做深度改写以切断参数记忆,最终生成 9625 条训练样本。