清华与港中文团队开源 AKV:面向 LLM 智能体的 KV cache 工程服务系统
中文摘要
清华与港中文开源基于 SGLang 的 AKV 系统,通过 Drop 和 Repos 实现 LLM 智能体 KV cache 的高效管理,无需重写文本历史。
English Summary
Tsinghua and CUHK open-sourced AKV, an SGLang-based KV cache system for LLM agents. It uses Drop and Repos to manage KV entries without rewriting history.
原文节选
清华大学与 CUHK 研究者开源 AKV,一个构建在 SGLang 上的 KV cache 工程服务系统,让智能体通过 Drop 和 Repos(RoPE 旋转重定位)操作丢弃或重排 KV 条目而不改写文本历史。