Scaling Law 的真相，藏在那些「没用」的参数里｜Hao 好聊趋势
中文摘要
本文剖析了大模型参数冗余的关键作用，并指出 Scaling Law 收益正转向长尾与多步推理能力。
English Summary
The article analyzes LLM parameter redundancy, its critical roles, and the shift of Scaling Law benefits toward long-tail and multi-step reasoning.
Original Excerpt
📌 一句话摘要 本文深入剖析大模型参数冗余现象，论证看似「空转」的参数在训练、推理和后训练阶段分别扮演隔离空间、数值泄压、计算骨架和可塑性储备四种关键角色，并指出 Scaling Law 的边际收益正流向 benchmark 无法测量的长尾与多步推理能力。 📝 详细摘要 文章从 ShortGPT 剪枝实验（砍掉 LLaMA-2-13B 四分之一层，MMLU 几乎不掉）切入，提出「参数冗余谜题」。作者将模型生命周期拆为训...