cumquat · 2026-07-29T17:56:00+08:00

目前在看咸鱼的工作站，这靠谱吗？还是自己手动组装？有佬有经验的吗？或者说3w 预算可以流畅的跑啥模型呢？能做一些基础的rag 问答就行，不要求模型能力很强，主要是流畅。

cumquat2026-07-29
19917
目前在看咸鱼的工作站，这靠谱吗？还是自己手动组装？有佬有经验的吗？或者说3w 预算可以流畅的跑啥模型呢？能做一些基础的rag 问答就行，不要求模型能力很强，主要是流畅。
主楼
polaris2026-07-29
6672
显卡不是涨上天了吗？现在3w不知道能配什么配置下来
我不知道是技术问题还是选择问题，之前我用35b A3B微调了一下然后转量化会爆显存（5090D v2 24GB）。现在部署的7B，知识库用的dify，吐字速度还可以
现在也还不太懂部署模型相关的知识，也是摸石头过河中，仅供参考
#1
cumquat2026-07-29
19917
佬跑7b 的配置清单大概是啥呢，t/s 大概有多少？
#2
chenchunlai2026-07-29
25281
对并发没要求的话可是试试 llama.cpp 去推理量化后的Q4-K-M.gguf的模型开启一下MTP
#3
polaris2026-07-29
6672
等下其他了解这方面的佬，看看有没有参考意见吧
现在主机关机了，明天给佬看一下，感觉我的没太大参考价值（太菜了） ^-^
#4
JackBlue2026-07-29
15853
普通的打游戏的电脑就足够了，这个moe架构的对显存要求还没有9B的高。
#5
cumquat2026-07-29
19917
目前暂时是不考虑并发的问题，佬您说的这个模型需要多高的配置呢
#6
cumquat2026-07-29
19917
那天演示机型用的是两张rtx6000然后 192g的内存，给我干蒙了，这一套下来也太贵了
#7

登录后回复

想部署qwen 3.6 35b a3b，需要多少预算呢？