自己使用strata本地部署的UD_Q4_K_XL量化,挺好用的

你看下主板上有没有两个显卡插槽,如果没有的花,消费端大部分普通主板显卡应该不支持通道拆分的,估计搞不了

测试下了200k上下文左右的时候,prefill还能达到1300,真是恐怖如斯. 

ubuntu系统,windows系统下不稳定

模型本身支持,他这个版本而不支持

我是两个魔改3080跑qwen3.8 flash next,3张2080ti魔改跑qwen3.8 27 q 8

足够了,我就是双卡3080 一共40gb,内存要大点

我也是之前没想到vllm性能这么炸裂,gpu基本能够跑慢,他的官方文档是两张3090,能够跑到100t/s

这个模型就有一个问题,不支持多模态呀

还是自己本地部署用着放心,不知道这些三方模型会不会偷偷上传自己系统文件

qwen3.8 27b qwen3.8 flash next

推荐这个博客,写的挺好https://www.cnblogs.com/skywang12345

看效果还不如qwen3.8 flash,网页版效果 

这个速度太慢了,我用的llama.cpp部署的unsloth ud q8量化,3个魔改2080ti 开启mtp和sm tensor都能跑到45t/s,峰值60t/s左右,vllm理论并发应该更快

这个版本我也用过,相比原版编码能力还是有下降

比较高性价比的用魔改卡跑,我用的是3张魔改2080ti

希望来个120b左右的moe,智商比27b高点就更好

编码能力很强,垃圾显卡也能跑,27b适合本地部署