如果不是为了cpu offload或者老显卡限制，不太建议用原版llamacpp，性能不太行。 可以考虑exllamav3跑exl3量化的，有不同大小可选，同bpw下比QxK效果更好，速度也更快，不过只支持chat completion的api。

你喜欢/习惯买东西去山姆是自己的事，但担心其他超市便利店怎么活下去就……

 陪一个qwen3.8-flash-next，120k雷霆大思考的结果

相比民间蒸馏，Ornith-1.5-9B这种后训练的会不会更靠谱…… huggingface.co  AtomicChat/Ornith-1.5-9B-GGUF · Hugging Fa

过年的红包是几百块，突然有一年开始变成一千，然后下一年又更高。想像成工资就懂了。

有竞争才会有降价，如果国模就算跑分高但还是没人用，那就是没竞争。 现在的api定价还是有降价空间的，但订阅制的话……现在算是获客阶段，迟早是要涨的