vLLM 换 SGLang，qwen3.8-27B 推理提速 59%，准确率零损失

无名氏 · 2026-08-20T12:31:00+08:00

Qwen3.8-27B + DFlash2 投机解码实测：单流 57 tok/s，4 并发 163 tok/s，多模态近翻倍一、升级方案项目 |之前 |现在 |推理框架 |vLLM v0.19.0 |SGLang 0.5.18（git main） |投机解码 |无（MTP 曾尝试，并发性能更差已回退） |DFlash2（草稿模型 Qwen3.8-27B-DFlash2，5 层，8 个候选 token） |模型 |Qwen3.8-27B-FP8（多模态 VL，8 图） |不变 |服务 |模型 ID Qwen3.8-27B，API 与调用方 |完全不变，调用方零改动 |二、速度提升（实测）场景 |vLLM 基线 |SGLang+DFlash2 |提升 |单流（长文本生成） |~36 tok/s |57.1 tok/s |+59% |4 并发 |~97 tok/s |163.1 tok/s |+68% |8 并发 |- |144.8 tok/s |- |多模态（图片+800 token） |~36 tok/s |72.3 tok/s |~2x |对比参考：vLLM 自带 MTP 单流仅 41-44 tok/s（+20%），且并发下更差；DFlash2 单流 +59%、并发 +68%，全面领先。三、显存占用（双卡部署，每卡 48GB 显存）指标 |vLLM |SGLang+DFlash2 |GPU 0 |~41.7 GB |38.0 GB |GPU 1 |~42.1 GB |37.9 GB |说明 |无投机 |含草稿模型 ~2.1GB/卡，KV cache 略减，总体反而更低 |四、准确率影响无影响（理论保证 + 实测验证）：- 投机解码原理：草稿 token 必须经目标模型验证，不匹配即重算，输出完全由目标模型决定- 实测：greedy 模式同一 prompt 3 次输出逐字一致；数学题、多模态识别质量正常五、功能与兼容性- ^-^ OpenAI 兼容 API（/v1/chat/completions、/v1/models）- ^-^ 多模态 8 图限制保留、prefix caching 保留（radix cache 默认开）- ^-^ qwen3 推理格式 / 工具调用自动检测，无需额外配置

4313

无名氏2026-08-20
29474
Qwen3.8-27B + DFlash2 投机解码实测：单流 57 tok/s，4 并发 163 tok/s，多模态近翻倍
一、升级方案
项目 |
之前 |
现在 |
推理框架 |
vLLM v0.19.0 |
SGLang 0.5.18（git main） |
投机解码 |
无（MTP 曾尝试，并发性能更差已回退） |
DFlash2（草稿模型 Qwen3.8-27B-DFlash2，5 层，8 个候选 token） |
模型 |
Qwen3.8-27B-FP8（多模态 VL，8 图） |
不变 |
服务 |
模型 ID Qwen3.8-27B，API 与调用方 |
完全不变，调用方零改动 |
二、速度提升（实测）
场景 |
vLLM 基线 |
SGLang+DFlash2 |
提升 |
单流（长文本生成） |
~36 tok/s |
57.1 tok/s |
+59% |
4 并发 |
~97 tok/s |
163.1 tok/s |
+68% |
8 并发 |
- |
144.8 tok/s |
- |
多模态（图片+800 token） |
~36 tok/s |
72.3 tok/s |
~2x |
对比参考：vLLM 自带 MTP 单流仅 41-44 tok/s（+20%），且并发下更差；DFlash2 单流 +59%、并发 +68%，全面领先。
三、显存占用（双卡部署，每卡 48GB 显存）
指标 |
vLLM |
SGLang+DFlash2 |
GPU 0 |
~41.7 GB |
38.0 GB |
GPU 1 |
~42.1 GB |
37.9 GB |
说明 |
无投机 |
含草稿模型 ~2.1GB/卡，KV cache 略减，总体反而更低 |
四、准确率影响
无影响（理论保证 + 实测验证）：
- 投机解码原理：草稿 token 必须经目标模型验证，不匹配即重算，输出完全由目标模型决定
- 实测：greedy 模式同一 prompt 3 次输出逐字一致；数学题、多模态识别质量正常
五、功能与兼容性
- ^-^ OpenAI 兼容 API（/v1/chat/completions、/v1/models）
- ^-^ 多模态 8 图限制保留、prefix caching 保留（radix cache 默认开）
- ^-^ qwen3 推理格式 / 工具调用自动检测，无需额外配置
主楼
𝓕-𝓓𝓻𝓸𝓲𝓭2026-08-20
12915
可以啊，之前看到多是静态的，这边还有一种自行车骑行的一种动态的感觉
#1
Light2026-08-20
8664
可以用最新版vllm（0.27.1+）测一下吗，0.19实在是有些老了。
我是2080ti，sglang没法用(它要用cutedsl），只能用vllm。
#2
无名氏2026-08-20
29474
我认为是 DFlash2 加速了至于 vllm 还是 sglang 影响不大。
#3
Light2026-08-20
8664
DFlash2打得过RadixArk/Qwen3.8-27B-DSpark吗？
#4
无名氏2026-08-20
29474
#5
无名氏2026-08-20
29474
大佬请看。
#6
hubin2026-08-20
57231
没有这么大的显卡啊好像试一下 ^-^
#7
无名氏2026-08-20
29474
#8
Light2026-08-20
8664
看起来很强啊，不过accept rate还是会受到训练条件影响。
#9
靠脸吃半饱2026-08-20
9970
input和output太小了，我之前测 input：75K，output：1024 ；DFlash2 接受率只有20%了，和原版draft model没区别，但是DFlash2 更占显存
#10
Light2026-08-20
8664
官方自己的mtp肯定是训练最充分的。glm5.2的dflash在长ctx下也打不过自带的mtp。但是ds4自带的dspark就各种场景下都超快。
#11
靠脸吃半饱2026-08-20
9970
不如我自己优化的一些配置
#12
若可2026-08-20
8848
我这边5090x2实测，DFlash2确实很强。
单条请求比较：MTP 平均 140 tok/s，峰值 160；DSpark 平均 180 tok/s，峰值 290（接受率非常不稳定，神两步鬼两步）；DFlash2 平均 240 tok/s，峰值 290。
并发：按照平均输入 64k 测的，由于 gpu kv cache 容量只有 400k 不到，所以只能塞下 5-6 个并发。DFlash2 峰值可以达到 800 tok/s，平均 ITL 集中在 2-4ms 的桶里面；原生 MTP 峰值 500 tok/s，平均 ITL 集中在 6-8ms 的桶里面。
#13

发表回复

登录后回复