AI AI工具情报站
AI资讯ai-products

vLLM 发布 Mistral Large 4 Day 0 支持

vLLM 官方博客(RSS)2026-10-29T00:00:00.000Z

核心亮点

vLLM 团队于 10 月 29 日发布博客,宣布对 Mistral 全新一代前沿模型 Mistral Large 4 实现"Day 0"支持——也就是模型发布当天即可在 vLLM 上跑起来。Mistral Large 4 是一个总参数 1 万亿、每 token 激活约 520 亿的混合专家(MoE)原生多模态模型,架构上融合了不少新技术。

具体事件经过

Mistral Large 4 引入了 DeepSeek 风格的稀疏注意力栈(MLA + DSA top-k 索引器),并加入跨层 KV 共享、NoPE 层、SSMax 与 LeRoPE 等机制,内置 Pixtral 视觉编码器与 DSpark 投机解码草稿器。这意味着它既能处理文本,也能理解图像,是一个"原生多模态"而非后接模块的模型。

技术细节

vLLM 为此做了多项适配:模型仅运行于 Model Runner V2(MRV2)并配合可中断 CUDA 图,相较 eager 模式约有 6 倍加速;提供 FP8(块缩放权重)与 NVFP4(NVFP4 专家 + FP8 注意力)两种检查点,默认采用 fp8_ds_mla 的 FP8 潜变量 KV 缓存。DSpark 投机解码在 TP8 下每步可接受约 2.9 个 token,输出吞吐提升约 1.9–2.2 倍且保持无损。长上下文并行(DCP/PCP)在 TP8 下把 KV 容量从 2.38M 提升到 18.88M tokens(约 7.9 倍)。

与竞品对比

在推理框架层面,vLLM 的 Day 0 支持让它继续领先于多数开源方案;其分离式服务(基于 NIXL 的 P/D 分离)与 HiSparse KV 卸载(单 GB300 节点 KV 容量达纯 GPU 的 4.5–5.7 倍)进一步拉开了与简单部署方案的差距。除 NVIDIA Blackwell/GB300 外,Day 0 还扩展到 AMD MI350(ROCm)与 TPU v7x。

行业影响与适用场景

对需要本地或私有化部署前沿多模态模型的团队,vLLM 的 Day 0 支持意味着几乎零等待的可用性。配合 SkyRL 在 8 节点 GB200 上的 Day 0 RL 训练支持,研究者和企业可以在模型发布当天就开始推理甚至微调,大幅压缩"发布到可用"的窗口。