马东锡解析 Instruction Tuning 的 SFT 训练目标
中文摘要
马东锡解析SFT:指令微调沿用预训练目标,通过交叉熵损失预测下一个token,以提升正确token的生成概率。
English Summary
Ma Dong-seok explains SFT in instruction tuning: it follows pre-training objectives, predicting next tokens via cross-entropy loss to increase correct token probability.
Original Excerpt
马东锡在“后训练系列第二篇”中讲解 Instruction Tuning:SFT 沿用预训练目标,即在每个位置预测下一个 token,用 cross-entropy loss 衡量预测与正确 token 的差距,训练以提高正确 token 概率。