- AI
- AI服务器领域 arm 已经介入了,相当于是去 intel 和 AMD 的第三选择,arm 早就布局了,但肯定没有预料到 AI 势头这么猛
- AI差不多月度更新了,也才1个多月,qwen 3.8 27B,最好还是pte的,给消费级显卡一个机会
- AI
- AI
- AI很好的一次实验验证,后面用这个验证对比下
- AI已经放上去了,可以试试,期待你的结果
- AIqwen 3.8 默认思考是 xhigh,我在推上确实有看过 20min 不出的,你看下日志,只要 prompt fill 在继续就无妨,当然,你可以改到 high ,中,或者 low,大不了不思考,主要评估下质量成品是否符合
- AImlx对应的框架是否有升级,搭配mlx的模型,另外你这配置参数明显比较少,另外量化的话Q4起步,才19GB权重,别浪费你的统一内存,满血是指60GB权重的么,又因为27B量化比较好,Q4-Q5就可以接受的水平了,如果llama.cpp本身要是本身就在mac能用,指路看下呢 ![图片](https://cdn3.ldstatic.com/original/4X/f/e/d/fedbd788dfb83
- AI理论上你这配置非常顶啊,只不过我没在mac上搞过,你用的框架是下面三个哪一种,llama.cpp,vllm,sglang,下的模型是哪个,对于32G显存,甜点区用到Q4-Q5量化就够到了。另外要开启mtp 你这配置打底也要到100tk/s以上才行