马东锡 NLP 开启后训练系列文章
中文摘要
马东锡NLP发布后训练系列文章,首篇已出。详述指令微调、偏好对齐等技术,旨在将基础模型转为有用助手。
English Summary
Ma Dongxi NLP launched a "post-training" article series, first part available. It covers instruction tuning, preference alignment, and RLVR, explaining how post-training transforms base models into useful assistants.
Original Excerpt
马东锡 NLP 宣布推出后训练系列文章,第一篇已发布,计划在接下来几周配合文章和实验代码深入浅出地讲解后训练。该系列将后训练拆为 instruction tuning、preference alignment 和 RLVR 三种技术,并指出预训练只教模型预测下一个词,后训练才是把 base model 变成有用助手的全部训练。