吴是ds模型的后训练团队负责人了，这个群好像是dsh的内测群

具体我也不是很懂，但是我之前和gpt讨论过，说过可以部署一个vps加远端渲染的技术，佬具体问问ai

> 1. 基础知识 > 1.1 什么是本地部署 > 本地部署就是通过个人或者企业通过消费级设备或工作站设备，将云端开源大语言模型部署到本地私有化设备上的过程 > 1.2 本地部署所需的环境 > 硬件层面：一般而言需要一张消费级显卡，消费级显卡上满足显存≥16GB 的显卡都可以适用本教程。具体见下表 > > 显卡厂商 > 起步型号 > 注解 > > Nvidia > 4060 Ti 16G / 50

今天看到发了，我要它写个黑洞，我打开网页直接把我电脑弄黑屏了风扇爆响 ^-^

前排吃瓜，搬好凳子了，准备开吃。 

 我又来玩了今天，感觉今天能熬到很晚啊

^-^我只看脸对的上我的眼睛的，剧情我都不带脑子去看好看我就多看一会，能看得下去我就会看完。

可以试试，效果不错，如果上下文长度压缩一下，开mtp提速的话应该能有30多t/s

unsloth那个ud-q3的13g量化，然后走llama.cpp的turboquant分支，k开tb4 v开tb3.上下文131072 显存占用15.4g 共用显存0.2g 都开tb3就可以160k了

我在16g显存的显卡上自部署能跑160K上下文了，也勉强凑合用用了

kimi这个199的套餐周额度咋样佬

H200吗，我看咸鱼都有B300卖的 ^-^