Back to Home
RadarAI··Papers & Tech

清华 BEMULA 基准揭示 LLM Agent 几乎无法按要求彻底遗忘记忆

中文摘要

清华大学BEMULA基准研究发现,大模型智能体在执行记忆遗忘任务时表现欠佳,难以彻底清除指定信息。

English Summary

Tsinghua’s BEMULA benchmark reveals that LLM agents struggle to perform reliable machine unlearning, failing to fully erase specific memories as requested.

Original Excerpt

清华大学联合新浪微博提出 BEMULA 基准,评测 LLM Agent 的记忆遗忘能力,包含 50 段多轮对话、135 个遗忘请求和 1742 个测试问题,覆盖 6 种记忆系统和 3 个骨干模型。