- 服务器
- 服务器
- 服务器
- 服务器
- 服务器不但慢,还不行,astra ultra 和 sol 都是这样。 我靠啊。
- 服务器
- 服务器
- 服务器
- 服务器
- 服务器
- 服务器
- 服务器
- 服务器
- 服务器
- 服务器--ctx-size 131072 --parallel 1 --device CUDA0,CUDA1 --split-mode tensor --gpu-layers auto --batch-size 1024 --ubatch-size 256 --flash-attn on --cache-type-k f16 --cache-type-v f16 --reasoning on --spe
- 服务器
- 服务器
- 服务器
- 服务器@pl6 #10 太贵了,我那个改内存 + 6000 我看着从1.2w涨到了 2w,离谱。不过咸鱼上还有1.5~1.7的
- 服务器@pl6 #8 128g的 我等到国庆后再搞,主要是395,卖点team还债(/dog) ^-^ ^-^ 。 主要是 目前这样的方案比我买395便宜。 我只有个32g的395 ^-^
- 服务器不嫌慢的话花1w多点,内存 + 显卡,qwen next flash 反正是能跑,大概10~20ts的输出。 我自己目前就是5070ti x 1(之前买来玩游戏的) + 2080ti x 3 , + 72g ddr4 qwen27b 无审查 a8的,俩2080ti 22g 就可以跑了大概5k。