vLLM 混合模型前缀缓存全零块 bug 修复
中文摘要
vLLM 修复了混合模型前缀缓存 bug,解决了因块未写入即标记为可复用而导致的请求复制全零块问题。
English Summary
vLLM fixed a prefix caching bug where unwritten blocks were prematurely marked reusable, causing requests to copy zero blocks by delaying them to the next step.
原文节选
vLLM 在混合模型开启细粒度前缀匹配时,会在缓存块尚未写入就标记为可复用,导致同一步内第二个请求过早复制到全零块并从零继续,错误块还会留在缓存中被后续请求复用,而响应看起来一切正常。在 GB200 上修复前 32 次试验中复制源全为零,修复后为 0 次。小修复将复制源未写入的请求推迟到下一个调度步,PR 见 vllm-project/vllm#67451。