清华 BEMULA 基准揭示 LLM Agent 几乎无法按要求彻底遗忘记忆
中文摘要
清华大学BEMULA基准研究发现,大模型智能体在执行记忆遗忘任务时表现欠佳,难以彻底清除指定信息。
English Summary
Tsinghua’s BEMULA benchmark reveals that LLM agents struggle to perform reliable machine unlearning, failing to fully erase specific memories as requested.
Original Excerpt
清华大学联合新浪微博提出 BEMULA 基准,评测 LLM Agent 的记忆遗忘能力,包含 50 段多轮对话、135 个遗忘请求和 1742 个测试问题,覆盖 6 种记忆系统和 3 个骨干模型。