DeepSeek v4 flash 0731 本地部署+DSpark草稿模型，生成速度43toks/s，峰值60toks/s

背景信息：4张5090（单卡32G显存），用的是unsloth的dv4f_0731_UD_8_DXL gguf，162GB权重加上10.9GB的DSpark draft草稿模型，选的是q8_0的gguf。

为了开启deek v4 flash的thinking max(384k起步)，上下文开到392K，我觉得有这个速度已经能用了。

优化心得：

1.显存吃不下大模型权重时，想着offload到cpu，这时需要有大内存支撑，比如128GB以上的内存，用好–n-cpu-moe参数

2.要熟悉对应模型的层数，适合gpu的重型的layer尽可能多的留给gpu，gpu毕竟适合这个，每张卡在调整时，显存尽量不要到适量程度，不能太空闲，又不能过于紧绷，预留2GB显存空间支撑burst，甚至为了更稳可以有3.5GB显存以支撑burst，

3.llama.cpp与先进模型是相辅相成，互相成长的，llama.cpp尽可能的追新，因为AI变化太快了，基本上出一款，就适配一款，先进框架在0day适配的也有，但通常需要时间适配，所以要留意大的Feature被合入的情况。

4.如果1:1:1去水平切分到多卡导致实际占用不充分时，就要结合当前模型的layer来手动划分合适的层次，这是个动态调协的过程，tuning performance，手艺人工作~

5.选对合适的Draft模型，刚好DeepSeek出了在Dflash上改进的DSpark先进草稿模型，如果用于编码，效果会更加明显

6.如果显存足够豪横，肯定都放到GPU一侧，如果达不到，又稍显富裕，可以调整ubatch-size到2048或者4096，加速prefill的速度。

7.如果公司和富人部署，建议两个GB10的DSpark（7w元以内的选择），如果有服务器（上卡）和机房（隔音且供电能跟上），那就两张6000pro，都是朴实无华的起飞方案，硬件真心建议5090系列起步，毕竟Blackwell的硬件nvfp4红利要吃到。nvfp4>fp8>fp16

心得就是AI时代适当保持技术敏感性，这个领域追新没有坏处，毕竟谁都不成熟，模型和框架两手抓，两手都要硬，同样的，适用于先进的harness，比如最近听说的Grok build就不错，后面试试。

在草稿模式下，抓到了从推理到编码decode的速度爆发的过程，可以看到峰值可以干到60toks/s

附上启动脚本，可以取自己需要的部分:

export CUDA_VISIBLE_DEVICES=${GPU_DEVICES} &&

export LLAMA_ATTN_ROT_DISABLE=1 &&

export LLAMA_ARG_FIT=${FIT_ARG} &&

“$LLAMA_SERVER_BIN”

-m “$MODEL_FILE”

${DSPARK_ARGS}

–alias “DeepSeek-V4-Flash-0731-UD-Q8_K_XL”

-c $CTX_SIZE

-ngl $NGL_LAYERS

–n-cpu-moe $N_CPU_MOE

–split-mode layer

${TS_ARG}

-ctk q8_0 -ctv q8_0

-fa on

–parallel 1

–ctx-checkpoints 0

–temp 1.0

–top-p 1.0

–min-p 0.01

–chat-template-kwargs ‘{“enable_thinking”:true,“reasoning_effort”:“max”}’

–host $SERVER_HOST --port $SERVER_PORT

2>&1 | tee “$LOG_FILE”"

LLAMA_ARG_TENSOR_SPLIT=‘19,7,8,9’ bash deploy_deepseek_v4_flash_q8.sh 0-1-2-3 16