从 RL 到蒸馏,再到软蒸馏:Why RL Matters?
中文摘要
本文解析LLM后训练分工:SFT定型模式,RL提升可控性,蒸馏学习RL优质模式并引出软蒸馏。
English Summary
This article explores LLM post-training: SFT defines patterns, RL improves controllability, and distillation learns RL's high-quality patterns, introducing soft distillation.
Original Excerpt
📌 一句话摘要 本文从实践视角拆解 LLM 后训练中 RL 与蒸馏的分工:SFT 定型 CoT pattern,RL 负责本土化改造与可控性,蒸馏偷学 RL 探索出的优质 pattern,并引出软蒸馏概念。 📝 详细摘要 文章围绕 LLM posttrain 阶段 RL 与蒸馏的角色分工展开思考。作者提出 CoT pattern 概念,认为 SFT 阶段的核心职责就是为后训练定型 CoT 模式,好的 pattern 具...