Back to Home
RadarAI··Papers & Tech

清华与港中文团队开源 AKV:面向 LLM 智能体的 KV cache 工程服务系统

中文摘要

清华与港中文开源基于 SGLang 的 AKV 系统,通过 Drop 和 Repos 实现 LLM 智能体 KV cache 的高效管理,无需重写文本历史。

English Summary

Tsinghua and CUHK open-sourced AKV, an SGLang-based KV cache system for LLM agents. It uses Drop and Repos to manage KV entries without rewriting history.

Original Excerpt

清华大学与 CUHK 研究者开源 AKV,一个构建在 SGLang 上的 KV cache 工程服务系统,让智能体通过 Drop 和 Repos(RoPE 旋转重定位)操作丢弃或重排 KV 条目而不改写文本历史。