个人用来分析自己的群聊工作啥的，为了群众 ^-^

这有点猛了，还是我老实点 ^-^

这是啥卡，搜不到哇，哪家的

这样说，你换个地区试试，我过人机好像挺简单

用联合登陆好点，github啥的

飞快，就是量太小了不够用 ^-^

现在头有点大，找不到便宜又好用的 ^-^

 也不知道从哪学的，就是这么直接

还是之前好，30能蹬6个亿，涨了就没用过了

64G 还调个啥 256K开启，爽爽蹬，我测了 30 40 50 但没MAC哈哈

> 1Cat-vLLM 我刚去看了感觉很不错呀，明天搞来试试看提升多少 ^-^

核心太老了，新模型适配困难只有OLLAMA简单点。量化也挑 ，不过佬的建议我要试试 1Cat-vLLM ^-^

随便一个卡大几千好几W，感觉个人还是plan适合一般使用，除非是防泄密，不然投入太多。不过有之前买过游戏卡有需要可以用起来哈哈。 ^-^

以上均为真机实测，用于给佬们一个参考，请注意数据真实非AI生成。

 我最近的测试都用的这个，还行

测试完了质的飞跃，但32G只能跑32K上下文，不过用原生MTP速度也翻了一倍。 ^-^

听佬们的建议加了DFLASH和MTP，质的飞跃，从192K 从58飞到120  ![图片](https://cdn3.ldstatic.com/optimized/4X/8/3/d/83d

 搞起来试试，看能提高多少

这个得换卡试，V100 架构太老只能用OLLAMA ，只支持MTP

全为真机实测，给各们佬参考。 V100是真划算。就是慢点

**192K 是这台 32GB 卡的真正甜点档**

自部署一定要注意上下文大小，看网上各种测试也要问问他们的上下文，实测影响很大 下图是DSH 加 qwen 上下文 64K测试，因为上下文过小会被频繁压缩，个人感觉非常影响效率。 

4090 24G我一会也要测试，最近被弄的头大，各种plan都试过了，现在准备试试各种硬件，给佬们提供下参考。

紧急避坑，个人不太建议购买这家的plan 429恶梦

新报错，一直用一直有惊喜 

测试中，暂时安全，平台dsh 

我试试看能不能蹬到6亿，超过就是赚了。

那不也得试试水么，其它便宜的都不够蹬呀 ^-^

测试下来和其它harness一样操作，过度恢常丝滑，且也有添加自定义模型 

flash chat改了 Responce flash正常了，但pro报错了，用的时候要注意一下。pro如像适合chat