Back to Home
RadarAI··Papers & Tech

TokenGate 用可学习剪枝把长上下文 Prefill 提速约 11 倍

中文摘要

斯坦福与伯克利研发TokenGate,通过可学习剪枝实现长上下文“跳读”,在无损精度下将Prefill提速最高11倍并降低显存占用。

English Summary

Researchers introduced TokenGate, a pluggable module using learnable pruning to "skip-read" long contexts, speeding up prefill by up to 11x and reducing VRAM usage without precision loss.

Original Excerpt

斯坦福与伯克利研究者提出可插拔小模块 TokenGate,插在现有 LLM 浅层学习"跳读"长上下文,只把 top-K token 传给上层。论文报告无精度损失时首 token 时间快 1.4–11.3 倍、峰值显存降 1.5–3.4 倍,相对最强免训练剪枝最高约 6.4 倍更快、2 倍更省显存。训练成本接近 LoRA,无需从零预训练。