NYU与Amazon论文:精选技能蒸馏胜过11倍技能库
中文摘要
NYU与Amazon提出SGUID方法,通过精选少量有效技能进行蒸馏,性能超越了11倍规模的技能库,显著提升了Qwen模型在数学任务中的表现。
English Summary
NYU and Amazon's SGUID method distills selected skills to outperform libraries 11 times larger, significantly boosting Qwen models' performance in math tasks with minimal skill sets.
Original Excerpt
NYU与Amazon新论文提出SGUID方法,只保留训练早期和后期都持续提供有效信号的技能,蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。在3个Qwen模型上,按主题匹配选出的技能中不到25%能提供有效信号;仅用6个精选技能,4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后,Qwen3-8B从64.3%提升至66.3%。