返回首页
RadarAI··论文与技术

字节 Seed 团队论文解释 DeepSeek 抽风原因,指长上下文检索存在相位敏感性

中文摘要

字节Seed团队研究指出,分块KV缓存压缩引入Token相位导致检索周期性波动,从而解释了DeepSeek模型的“抽风”现象。

English Summary

ByteDance's Seed team attributes DeepSeek's instability to phase-sensitive token issues introduced by chunked KV cache compression, which causes periodic fluctuations in retrieval performance.

原文节选

字节 Seed 团队 9 月底在 arXiv 提交论文,指出分块 KV 缓存压缩引入 Token 相位这一新位置坐标,导致检索性能周期性变化,用以解释 DeepSeek 的抽风现象。