Back to Home
RadarAI··Papers & Tech

斯坦福与 UC Berkeley 推出 TokenGate:token 门控注意力让长上下文 prefill 最快提升 11.3 倍

中文摘要

斯坦福与UC Berkeley推出TokenGate,通过可学习token剪枝在无精度损失下实现LLM prefill最高11.3倍加速并降低显存占用。

English Summary

Stanford and UC Berkeley released TokenGate, a learnable token pruning module that accelerates LLM prefill by up to 11.3x and reduces memory usage without losing accuracy.

Original Excerpt

斯坦福和 UC Berkeley 研究者发布 TokenGate,一种给现有 LLM 加上可学习 token 剪枝的模块,在 Qwen3-1.7B 上实现 1.4x 至 11.3x 的 TTFT 加速,峰值 prefill 显存降低 1.5x 至 3.4x 且无精度损失。