Back to Home
RadarAI··Papers & Tech

Nvidia 等机构论文揭示无关文本通过 intrusion heads 削弱模型对问题的利用

中文摘要

Nvidia等机构发现,无关文本通过intrusion heads削弱模型对问题的利用,从而降低正确答案支持度。

English Summary

Nvidia research shows irrelevant text reduces correct answer support by weakening question utilization via intrusion heads rather than directly suppressing answers.

Original Excerpt

Nvidia 等机构论文发现,提示中的无关文本主要通过削弱模型对问题的利用来降低正确答案的支持度,而非直接压制正确答案,机制可定位到少量 attention heads,即 intrusion heads。