【卧虎藏龙】最强开源模型kimi k3自部署

就算量化的最基础入门，也得大几万吧，满血的一两千万还是要的

假作真时真亦假，无为有处有还无。

kimi-k3 自部署难度太大太大太大太大了，一般人也不会部署，没有企业级资源部署不下来的。

我自己用云 gpu 厂商送的额度部署个deepseek-v4-flash-0731 自用没啥问题，供给我公益站的佬们用几乎是个残废

不知道渠道是什么难道它真的有线下的本地服务器吗

好像之前让gpt算过，正常部署一个实例硬件成本都得上百万了吧？

电量的损耗成本就够抵第三方的了吧，之前也有过这个想法。被硬件成本和运维成本劝退了

K3自部署将会是非常非常复杂的事

没有恶意但我持怀疑态度

200K Context的DeepSeek V4 Flash和K3的自部署难度堪比一个天一个地

V4 Flash自部署起来相对是比较容易的，最主流的做法目前是双DGX Spark交火，现成方案很多了

K3的自部署需要精细化的多卡协作、超高速数据交换，最简单的方案是使用NV的NVL的机架系统，让NV来帮你做好多卡协作

接下来就是选择合适的推理框架，但在这种量级的模型上大概率需要自行进一步调优和定制化，各家Provider的自部署也是在几大开源框架的基础上根据模型进行调优的（也许也可以直接用Moonshot自己的推理算子可能会效果好一些）

可惜NVL天价，但是不用NVL仅凭一己之力几乎做不到优秀的多卡协作和框架调优定制化。再加上多并发和冗余设计，上下文测算等等

一个结论就是别说原始模型了，你量化版本都部署不出来

如果能自部署，那也是强的没边了，佩服佩服

看个乐就行了 炒作一下公益站美滋滋

谢谢佬，看起来V4 Flash更贴近现实一些，虽然价格依旧劝退个人了。

200k的V4 Flash我还是用OpenCode的免费额度吧哈哈

flash 可以部署，glm-5.2 也可以部署。 K3 实在是太大了。去捡一个 8 卡 B300 的机子。

他自己都不知道自己的渠道是不是自部署，用“大概率”

真是自部署还能不知道吗 我用第三方厂商自部署的免费k3也叫自部署 ^-^ 风味自部署

当然我也没有恶意哈 公益站自然是好的，但是只是我觉得这个噱头太大了

本地部署永远不会是可行方案的，未来也只会有云端托管 ^-^

能够自部署的规模永远会有更便宜方便的API

个人觉得 小到一定规模的模型自部署意义不大（除非确实不需要那么强大的模型能力 但是Token需求又非常大）

大到一定规模的模型自部署本身就已经接近不可行了（模型规模太大）

16*64G 显存，能部署 deepseek v4 flash 0731 1m 吗

学习到了，谢谢分享啊，原来部署起来这么费劲

大家想多了，这位佬站里很多自布署，因为只要不是走原生的接口，都叫自布署。

别人自布署，我接它。这个自布署也没毛病吧。