Nvidia 等机构论文揭示无关文本通过 intrusion heads 削弱模型对问题的利用
中文摘要
Nvidia等机构发现,无关文本通过intrusion heads削弱模型对问题的利用,从而降低正确答案支持度。
English Summary
Nvidia research shows irrelevant text reduces correct answer support by weakening question utilization via intrusion heads rather than directly suppressing answers.
Original Excerpt
Nvidia 等机构论文发现,提示中的无关文本主要通过削弱模型对问题的利用来降低正确答案的支持度,而非直接压制正确答案,机制可定位到少量 attention heads,即 intrusion heads。