大模型后训练配方演进与多教师在线策略蒸馏｜对话 AI2 研究员 Finbarr Timbers
中文摘要
探讨大模型后训练演进，从InstructGPT到多教师在线蒸馏，并分析DPO、教师模型融合及DeepSeek R1等趋势。
English Summary
Explores LLM post-training evolution from InstructGPT to multi-teacher online distillation, analyzing DPO, teacher model fusion, and DeepSeek R1's RL approaches.
原文节选
📌 一句话摘要 深度梳理前沿大模型后训练配方从 InstructGPT 到多教师在线策略蒸馏的演进路径，剖析 DPO 衰落、教师模型融合困境与学术/工业界分歧。 📝 详细摘要 本期深度对谈邀请 AI2 研究员 Finbarr Timbers，系统梳理前沿大模型后训练配方的演变。对话从 InstructGPT 三阶段框架出发，回顾 Llama 3、TULU3 的实用落地，深入分析 DeepSeek R1 的 RL-fir...