- AI
- AI
- AI
- AI
- AI
- AI那我未审查谁给我补上。我现在16g好歹能用27b给我开个头,接deepseek, 什么都能做
- AI剔除掉n gram 也不够啊。 vllm支持专家卸载了吗 。 那我16g显存能带不 我在llama里是25token/s 预填充大概800/s
- AI
- AI
- AI
- AI
- AI 这是我用本地部署的iq4 xs qwen flash 做的。 用zocode他自己改了几下。我觉得还可以
- AI连mac mini +windows 日常还可以,但画质一般,ips也就这样了,加上索尼调光也不能改命
- AI而且deepseek 应该是原生fp8+fp4, glm的是全fp8 ,权重大小可能差了一倍。deepseek 快很多的。
- AIdeepseek 13b vs glm 18b 。 glm肯定要强点的,不然对不起他消耗的资源。
- AI