字节 Seed 团队论文解释 DeepSeek 抽风原因,指长上下文检索存在相位敏感性
中文摘要
字节Seed团队研究指出,分块KV缓存压缩引入Token相位导致检索周期性波动,从而解释了DeepSeek模型的“抽风”现象。
English Summary
ByteDance's Seed team attributes DeepSeek's instability to phase-sensitive token issues introduced by chunked KV cache compression, which causes periodic fluctuations in retrieval performance.
Original Excerpt
字节 Seed 团队 9 月底在 arXiv 提交论文,指出分块 KV 缓存压缩引入 Token 相位这一新位置坐标,导致检索性能周期性变化,用以解释 DeepSeek 的抽风现象。