Back to Home
RadarAI··Papers & Tech

混合潜在注意力让循环模型吞吐提升7.4倍

中文摘要

弗吉尼亚理工提出混合潜在注意力,通过紧凑向量缓存,使循环模型单卡吞吐量提升高达8.8倍,且几乎无精度损失。

English Summary

Virginia Tech proposed Hybrid Latent Attention, caching tokens as compact vectors to boost recurrent LLM throughput up to 8.8x with minimal accuracy loss.

Original Excerpt

Virginia Tech 论文提出 Hybrid Latent Attention,将较旧的 token 缓存为紧凑向量供注意力直接读取,使循环 LLM 在单 GPU 上可容纳的请求量提升 4.0 至 8.8 倍,且精度损失很小。