小红书 AllSpark 提出 ROSS:让模型重学训练中自生成的 rollout
中文摘要
小红书AllSpark提出ROSS,通过筛选自生成轨迹进行监督,显著提升了数学、代码和MOPD性能。
English Summary
Xiaohongshu's AllSpark team proposed ROSS, using selective supervision on self-generated rollouts to significantly improve performance in math, coding, and MOPD benchmarks.
原文节选
小红书 AllSpark Team 提出 ROSS,让模型重新学习训练中自己生成的 rollout,通过筛选有价值轨迹片段并保留完整上下文做选择性监督。基于 Qwen3.6-35B-A3B,该方法在单轮 RL 中把数学均分从 75.19% 提至 76.98%、代码从 42.09% 提至 44.21%,MOPD 均分从 58.40% 提至 62.20%。