- 月亮大大滴2026-08-06
公司领导给批了150w的额度去买服务器，打算建一个AI服务专门用于处理公司内部事物。他的想法是能跑多大的模型就跑多大的模型，保证数据不泄露。我看了一下，这150w很难配，要不就配两台RTX Pro 6000D 84g的服务器，但是这无法串起来跑如GLM5.2，Kimi k3这样的模型。买一台吧，又不够钱买H20这样服务器。
我也考虑国产，华为910C应该是勉强能买到，但是他又不支持CUDA生态，然后跑不了原生FP4的模型，最新的昇腾950支持cuda生态，不过现在都还未正式大量上市，更买不到了。其他的只了解过阿里的，他们报价更高，也不够钱买。。。。
现在就挺尴尬的，我的想法也是最好只买一台，显存越大越好，宁可慢一点都比跑不动强，佬们有这方面的经验么？请佬们指导一下我
主楼 - 大大怪2026-08-06
不知道买什么，但是部署模型你优先考虑DeepSeek。
- Rayn_V2026-08-06
- hoa2026-08-06
910c建议换一下其它的，适配还没有那么好
- dreamya2026-08-06
触及到知识盲区了，有佬解答的我也来蹲一波，学习佬们经验
- wthothw2026-08-06
910C可以，vllm-ascend社区对开源模型的适配很快，模型用华为自己量化的w8a8、w4a8，单台910C，运行glm5.2 w4a8可以到1M上下文，w8a8可以到64k上下文。如果不着急买，可以等等华为950、阿里的890、沐溪c600、海光的bw1100，等到明年估计都能到200万以下。还有，可以看看阿里的810，1.5T显存，预算加到200w，大概可以拿下，这个确实不错。
- 月亮大大滴2026-08-06
一台8卡，75万内能搞定，不可能一个服务器一张卡啊，肯定都是8张卡插满
- Rayn_V2026-08-06
那就是接近1344G的显存了，可以跑量化的v4-pro了吧，其实rtx pro 6000是挺好的，但是现在真的太贵了，这个网址可以参考一下，估算一下需要多少显存，再结合加个对比一下
LLM推理显存与GPU需求计算器
- perryhe2026-08-06
凑巧我们公司用的就是Pro 6000，96GB的，目前四张卡部署deepseek-v4-flash，1M上下文，速度起飞，佬你这预算部署4-5个flash完全不是问题，我们2卡也可以部署，只是没有1M上下文。
我觉得Pro 6000已经算是性价比之王了，当时之所以选择这款也就是看好他是Blackwell新一代显卡，fp4有加速，加上一张有96GB，我记得当时好像是一张H200的价格都够买三张Pro 6000了，还是Pro 6000香。
我觉得你要冲着显存去，那就买Pro 6000吧，只是没有nvlink确实多卡效率会低一些
- 月亮大大滴2026-08-06
感谢佬，作用很大，我打算你提到的每个都去问下
- 月亮大大滴2026-08-06
现在的96G版贵到起飞，性价比很低，一张96都差不多能买2个84G的版本了。我觉得还是找一个大显存的吧，这样以后再有更大的模型也能撑住。如果不能英伟达那就打算国产了，毕竟现在国产是未来，现在凑合能用
- vvvcf2026-08-06
我们现在也是这个配置，你们是用啥本地部署的呢？想学习一下
- perryhe2026-08-06
我们现在用的docker hub的镜像， voipmonitor/vllm:fathomless-firmament-ds4-v10-vllmadf15ca-b12x90172a5-fi2cba2f7-cu132-20260712，佬友可以参考一下
- vvvcf2026-08-06
vllm:fathomless-firmament-ds4-v10-vllmadf15ca-b12x90172a5-fi2cba2f7-cu132-20260712
感谢感谢，我现在去试试。原始的vllm一直报错
- go2hero2026-08-06
75W的价格够呛吧，8张6000d 84G，内存不得搞个1T，再加上其它杂七杂八
- yangjin95622026-08-06
花1W买个VPS，剩下的冲deepseek，速度快，性能高。
- igg82026-08-06
买一台128GB内存的，自己部署中转（10万的硬件），10W充值中转站，什么模型都有。剩下的自己拿