NVIDIA 论文:智能体频繁压缩历史可在短上下文下几乎不损精度
中文摘要
NVIDIA研究表明,AI智能体通过频繁压缩历史可在短上下文下维持精度,从而降低高昂成本。
English Summary
NVIDIA research shows AI agents can maintain accuracy via frequent history compression, reducing high long-context costs.
Original Excerpt
NVIDIA 论文发现,AI 智能体通过频繁压缩历史保持短上下文时精度几乎不降。服务 256K 上下文窗口比 16K 的每 token 生成成本高 3.6 倍到 7 倍。