DeepMind 又改 Transformer 了：深层激活回流，小模块反超全量微调
中文摘要
DeepMind提出Recirculation机制，通过深层激活回流至浅层，在不改动权重的情况下显著提升性能，甚至超越全量微调。
English Summary
DeepMind's Recirculation mechanism flows deep activations back to shallow layers without weight updates, boosting language modeling performance beyond full fine-tuning.
原文节选
📌 一句话摘要 DeepMind 提出 Recirculation 机制，通过在不改动权重的情况下让深层激活回流到浅层，显著提升语言建模性能，甚至可超越全量微调。 📝 详细摘要 文章详细介绍了 DeepMind 最新的 Recirculation 工作：基础 Transformer 权重保持冻结，仅在推理阶段打通从深层到浅层的信息回路，使已经形成的语义状态能够被后续 token 重复利用。为了让回流强度随 token ...