指令微调详解:从 Alpaca 案例到损失掩码的实现细节
中文摘要
本文详解指令微调,以Alpaca为例阐述SFT原理:通过特定任务数据训练改变模型行为,但SFT难以补充知识或评估回复质量。
English Summary
This article details supervised fine-tuning, using Alpaca to show how SFT modifies model behavior with specific data, while noting its limitations in knowledge injection and output evaluation.
Original Excerpt
Dongxi 东锡 NLP 发布后训练系列第二篇,系统讲解指令微调(SFT)。文章以斯坦福用 52,000 条数据、不到 600 美元成本将 LLaMA 7B 训成 Alpaca 为例,说明指令微调与预训练共用交叉熵损失、只改变数据和任务;它能改变模型行为方式并泛化到新任务,但难以补充知识或判断回答优劣。