返回首页
RadarAI··论文与技术

清华与港中文团队开源 AKV:面向 LLM 智能体的 KV cache 工程服务系统

中文摘要

清华与港中文开源基于 SGLang 的 AKV 系统,通过 Drop 和 Repos 实现 LLM 智能体 KV cache 的高效管理,无需重写文本历史。

English Summary

Tsinghua and CUHK open-sourced AKV, an SGLang-based KV cache system for LLM agents. It uses Drop and Repos to manage KV entries without rewriting history.

原文节选

清华大学与 CUHK 研究者开源 AKV,一个构建在 SGLang 上的 KV cache 工程服务系统,让智能体通过 Drop 和 Repos(RoPE 旋转重定位)操作丢弃或重排 KV 条目而不改写文本历史。