参数化 Memory 漫谈（纯干货）
中文摘要
本文探讨LLM参数化记忆，涵盖MAML、FFN、知识神经元及ROME/MEMIT等编辑方法，并分析了经验压缩与模型快速适应的机制。
English Summary
This article explores LLM parametric memory, covering MAML, FFN, knowledge neurons, and ROME/MEMIT editing methods, analyzing experience compression and rapid model adaptation.
Original Excerpt
📌 一句话摘要 本文系统梳理了参数化 Memory 的概念脉络，从自迭代视角出发，讲解 MAML、FFN 结构、知识神经元以及 ROME/MEMIT 等参数编辑方法，探讨其在 LLM 中的实现与限制。 📝 详细摘要 文章首先从 LLM 自迭代的角度定义 Memory 为经验压缩后的更新方向，接着介绍 MAML 如何通过双层记忆机制将历史任务经验压缩成便于快速适应的参数初始状态，并对比其与普通预训练的区别。随后探讨 Tr...