vLLM 跨实例图像缓存串号漏洞及修复
中文摘要
vLLM多服务器共享缓存导致图像标签碰撞,引发跨实例数据串号;官方通过在标签中加入随机因子修复了该漏洞。
English Summary
vLLM's shared caching causes cross-instance image data leakage due to ID collisions. The fix introduces a random component to image tags, ensuring cross-server cache isolation.
Original Excerpt
vLLM 在多服务器共享外部 KV 缓存时存在跨实例图像缓存串号问题:当 prefix cache 与图像处理缓存均关闭时,每台服务器的图像标签从 1 开始计数,导致不同图像在共享缓存中撞上同一 key,第二台服务器会命中并返回另一张图像的缓存数据,且表现为正常缓存命中、不报错。修复方式是让每台服务器在图像标签中加入自己的随机部分,使跨服务器标签不再相同,相关 PR 为 #67461。