LLM 何时会撞墙？又为什么 continual learning 的重要性会成为学界共识？
中文摘要
本文探讨LLM面临的持续学习、稀疏奖励与长上下文瓶颈，指出持续学习是解决关键，并涉及稳定性与塑性的权衡。
English Summary
This article examines LLM bottlenecks in continual learning, sparse rewards, and long context, highlighting continual learning and the stability-plasticity tradeoff.
原文节选
📌 一句话摘要 本文深入探讨了 LLM 的三大核心瓶颈，指出持续学习（Continual Learning）是解决长上下文与稀疏奖励问题的底层关键，并结合神经科学解释了稳定性与塑性的权衡难题。 📝 详细摘要 文章指出当前大语言模型面临持续学习、稀疏奖励与长上下文三大瓶颈，并论证这三者本质上是同一个问题的不同侧面。作者通过引入神经科学中的「稳定性-塑性权衡（Stability-Plasticity Tradeoff）」概...