Kimi K3 自部署 8XB300

来吃螃蟹

huggingface.co

moonshotai/Kimi-K3 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

主机配制:

- 4TB RAM

- 16TM NVME SSD

- 8X B300

- 2x Intel Xeon 6767p(256 逻辑核心)

参数：

参考 Kimi-K3 - SGLang 文档 进行了些微调

SGLang 还加上了 DSpark

huggingface.co

RadixArk/Kimi-K3-DSpark · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

安装

截止发帖时间，Kimi K3 的支持还没合并到主分支当中，这里使用的是 sgl-project/sglang at kimi-k3

clone 下来需要使用 nightly index 安装```
pip install \
--extra-index-url https://sgl-project.github.io/whl/cu130/ \
--extra-index-url https://download.pytorch.org/whl/cu130 \
--index-strategy unsafe-best-match \
-e "python[all]"
```还需要安装 ffmpeg 来实现图像解码，最简单是直接 LD_LIBRARY_PATH 到 site-packages/PyNvVideoCodec, sglang/docker/kimi_k3 at kimi-k3 · sgl-project/sglang 这里还藏了一些 patch,如果不用 docker 记得把补丁打上

启动

这里用的是 Low Latency + DSpark + HiCache 版本```
sglang serve \
--tokenizer-backend fastokens \
--trust-remote-code \
--model-path moonshotai/Kimi-K3 \
--served-model-name k3
--tp-size 8 \
--enable-symm-mem \
--mem-fraction-static 0.85 \
--reasoning-parser kimi_k3 \
--tool-call-parser kimi_k3 \
--mamba-full-memory-ratio 0.86 \
--host 0.0.0.0 \
--speculative-algorithm DSPARK \
--speculative-draft-model-path RadixArk/Kimi-K3-DSpark \
--speculative-dspark-block-size 7 \
--enable-linear-replayssm-spec \
--enable-hierarchical-cache
--hicache-size 150
--model-loader-extra-config {"enable_multithread_load":true,"num_threads":64} \
--weight-loader-prefetch-checkpoints \
--weight-loader-prefetch-num-threads 64 \
--enable-nccl-nvls \
--pre-warm-nccl \
```基本就是官方 Low Latency 参数，只不过加了点加载 checkpoint 优化，方便调试参数

如果你以前部署过其他模型，hicache 记得砍半，mamba 和 hicache 是同时占用的 也就是说 hicache size 实际上会翻两倍

Benchmark:

总体来看，好像比 SGL 官方用 GB 300 跑得慢了 100 TPS 左右 不知道是不是哪里补丁又没打上 回去再看看

后续还会更新，先这样吧

部署 GLM5.2 的文章 https://blog.aeroides.dev/posts/2026/post1/deploy-glm-on-h100-h200-b300/