Back to Home
RadarAI··Papers & Tech

vLLM 流式会话越界写共享缓存漏洞

中文摘要

vLLM流式会话存在越界写漏洞,超长输入会污染共享缓存导致数据错误。建议限制写入及丢弃超限数据以修复该问题。

English Summary

A vLLM buffer overflow vulnerability allows long streaming inputs to corrupt shared cache, causing silent data errors. Fixing requires restricting writes and discarding tokens exceeding limits.

Original Excerpt

vLLM 存在静默越界写问题:流式输入时只校验每个新 chunk 的长度、不校验整个会话总长,超长会话的 token 数据会溢出到共享前缀缓存块,后续请求复用该块时输出被改变且无报错。限制 worker 写入、丢弃超限 token 数据可修复,PR 见 vllm-project/vllm#67457。