UC Berkeley 论文揭示 LLM 上下文更新失败:注意力漂移导致沿用旧值
中文摘要
UC Berkeley论文提出“stale binding”概念,指出LLM因注意力漂移在上下文变化时仍沿用旧值,导致更新失败。
English Summary
UC Berkeley research identifies "stale binding," where LLMs fail to update context because attention drifts toward old values despite changes in preferences.
原文节选
UC Berkeley 论文《When Context Changes: Understanding Update Failures in LLMs》提出 stale binding 概念,指 LLM 在偏好或截止时间变化后仍沿用旧值,原因是注意力漂移向旧提法。