AI AI工具情报站
AI资讯tip

SGLang 披露并修复 PD 分离服务中的跨请求 KVCache 竞态问题

LMSYS Blog2026-10-25T16:00:00.000Z

核心亮点

SGLang 团队与 Cloudflare 协调披露了一则影响 Workers AI 上 GLM-5.3 模型的跨请求 KVCache 暴露问题,并已修复,体现了负责任的安全披露流程。这类底层推理漏洞往往比模型能力更值得工程团队关注,因为它直接触及多租户隔离这一安全底线。

具体能力或事件经过

问题发生在 2026 年 8 月 27 日至 9 月 9 日,影响采用 PD 分离(Prefill-Decode 分离)服务的推理部署。在特定条件下,一个请求可能读到另一个请求残留的 KVCache,造成潜在的信息泄露。Cloudflare 与 SGLang 协同完成了修复与通告,并在影响期内评估了实际泄露范围。

技术细节

PD 分离是把“预填充”与“解码”放到不同实例以提升吞吐的架构。若缓存隔离不当,跨请求复用 KVCache 就可能串味。SGLang 通过严格按请求隔离缓存、增加校验修复了该竞态。这提醒我们:性能优化的前提是隔离正确,任何“省成本”的复用都必须以安全为边界。

与竞品对比

相较单体推理服务,PD 分离性能更优但攻击面更细;相较闭源方案,SGLang 作为开源推理引擎选择公开披露细节,有助于整个社区吸取教训。透明披露本身也是一种安全竞争力,能提升用户对平台的信任。

行业影响或适用场景

对部署大模型推理的云平台与企业,这是一次重要提醒:性能优化(如 KVCache 复用)必须以隔离为前置条件。它也为多租户推理服务的安全基线提供了参考,尤其在金融、医疗等数据敏感行业。

延展阅读

自建推理服务的团队,建议把“跨请求缓存隔离”写入上线前安全 checklist,并定期做侧信道复测;对外服务尤其要保留审计日志以备溯源。