返回首页
RadarAI··论文与技术

斯坦福与 UC Berkeley 推出 TokenGate:token 门控注意力让长上下文 prefill 最快提升 11.3 倍

中文摘要

斯坦福与UC Berkeley推出TokenGate,通过可学习token剪枝在无精度损失下实现LLM prefill最高11.3倍加速并降低显存占用。

English Summary

Stanford and UC Berkeley released TokenGate, a learnable token pruning module that accelerates LLM prefill by up to 11.3x and reduces memory usage without losing accuracy.

原文节选

斯坦福和 UC Berkeley 研究者发布 TokenGate,一种给现有 LLM 加上可学习 token 剪枝的模块,在 Qwen3-1.7B 上实现 1.4x 至 11.3x 的 TTFT 加速,峰值 prefill 显存降低 1.5x 至 3.4x 且无精度损失。