清华与港中文团队开源 AKV:面向 LLM 智能体的 KV cache 工程服务系统
中文摘要
清华与港中文开源基于 SGLang 的 AKV 系统,通过 Drop 和 Repos 实现 LLM 智能体 KV cache 的高效管理,无需重写文本历史。
English Summary
Tsinghua and CUHK open-sourced AKV, an SGLang-based KV cache system for LLM agents. It uses Drop and Repos to manage KV entries without rewriting history.
Original Excerpt
清华大学与 CUHK 研究者开源 AKV,一个构建在 SGLang 上的 KV cache 工程服务系统,让智能体通过 Drop 和 Repos(RoPE 旋转重定位)操作丢弃或重排 KV 条目而不改写文本历史。