Back to Home
RadarAI··Papers & Tech

腾讯论文:MoE 模型按神经元剪枝保技能

中文摘要

腾讯研究提出RAMP方法,通过按神经元而非专家粒度剪枝MoE模型,在大幅降低显存和提升吞吐量的同时,有效保留了模型核心性能。

English Summary

Tencent's RAMP method prunes MoE models by neurons instead of experts, significantly reducing VRAM and increasing throughput while preserving 91-98% of performance by retaining critical neural pathways.

Original Excerpt

腾讯论文发现 MoE 模型的数学、代码等领域技能分散在跨专家的零散神经元中,因此按神经元而非整个专家剪枝可在压缩模型的同时保留大部分能力。其 RAMP 方法按神经元的路由贡献打分,剪掉最无用的 25% 神经元后,6 个模型仍保留 91% 至 98% 的性能。剪掉 50% 神经元时,GPU 显存下降 36% 至 43%,批量 prefill 吞吐提升 17% 至 39%。