812011525 · 2026-09-25T13:08:00+08:00

8g显存16g内存部署Ternary-Bonsai-2-27B PTQ1 用KVMem-llama.cpp 可以开128k上下文 22tok/s 感觉是最优解了

8120115252026-09-25
31097
8g显存16g内存部署Ternary-Bonsai-2-27B PTQ1 用KVMem-llama.cpp 可以开128k上下文 22tok/s 感觉是最优解了
主楼
wg19292026-09-25
9630
千问一直造福大家
#1
竹笋_竹笋2026-09-25
6427
感觉不错啊，佬有教程吗？
#2
petercao2026-09-25
23991
智力怎么样?本地聊天效果好不好
#3
8120115252026-09-25
31097
KVMem-llama.cpp
下载 KVMem-llama.cpp跑Ternary-Bonsai-2-27B PTQ1 就可以最大上下文好像可以开到200k
#4

登录后回复