预训练之后为什么还要后训练:三种技术如何把基座模型变成助手
中文摘要
预训练模型有短板,指令跟随、安全和推理需后训练。
English Summary
Pre-training models have weaknesses; instruction following, safety, and reasoning need post-training.
原文节选
作者以 InstructGPT 与 GPT-3 对同一请求的不同回答为切入,解释预训练只教模型猜下一个词,基座模型因此存在不听指令、可能造成伤害、不擅长长链条推理三个短板。