返回首页
RadarAI··论文与技术

NYU与Amazon论文:精选技能蒸馏胜过11倍技能库

中文摘要

NYU与Amazon提出SGUID方法,通过精选少量有效技能进行蒸馏,性能超越了11倍规模的技能库,显著提升了Qwen模型在数学任务中的表现。

English Summary

NYU and Amazon's SGUID method distills selected skills to outperform libraries 11 times larger, significantly boosting Qwen models' performance in math tasks with minimal skill sets.

原文节选

NYU与Amazon新论文提出SGUID方法,只保留训练早期和后期都持续提供有效信号的技能,蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。在3个Qwen模型上,按主题匹配选出的技能中不到25%能提供有效信号;仅用6个精选技能,4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后,Qwen3-8B从64.3%提升至66.3%。