lao1 me
AI服务器日常推广公告
搜索
菜单
主题回帖收藏
  • Guanlan9
    jio的账号在antigravity可以用gemini4和opus5.5了热
    你再试试ide看有没有4的Agron,我这个没有
    Guanlan94天前AI19Guanlan9
    AI
  • 🐟
    Arm公司正在开发适用于Linux的“TLBID”协议,以提高高核心数CPU的性能
    服务器领域 arm 已经介入了,相当于是去 intel 和 AMD 的第三选择,arm 早就布局了,但肯定没有预料到 AI 势头这么猛
    🐟2026-10-04AI1yeyucca
    AI
  • 996
    qwen4系列首曝,下一代max,plus,qwen4-27B。阿里云杭州云栖大会上午总结热
    差不多月度更新了,也才1个多月,qwen 3.8 27B,最好还是pte的,给消费级显卡一个机会
    9962026-09-22AI19acai
    AI
  • Tkmb
    免费领取Spotify Premium 3个月
    细说,我下来去看一下
    Tkmb2026-09-19AI6Gazes
    AI
  • Eic
    本地部署qwen3.8-27b做代码review
    可以,回去研究下,这个确实不错
    Eic2026-09-14AI5Grogu
    AI
  • troubleman
    记一次在嵌入式项目的代码质量和效率的横向评测(DeepSeek V4 Flash 0731、GPT 5.6 Luna Max)
    很好的一次实验验证,后面用这个验证对比下
    troubleman2026-08-22AI3yeyucca
    AI
  • yeyucca
    qwen 3.8 27B 5090单卡,256k上下文,promp fill 2.5-3k/s, decode 峰值可以在130+tks/s,均值在90tks/s热
    已经放上去了,可以试试,期待你的结果
    yeyucca2026-08-18AI10asfasfasq
    AI
  • yeyucca
    qwen 3.8 27B 5090单卡,256k上下文,promp fill 2.5-3k/s, decode 峰值可以在130+tks/s,均值在90tks/s热
    qwen 3.8 默认思考是 xhigh,我在推上确实有看过 20min 不出的,你看下日志,只要 prompt fill 在继续就无妨,当然,你可以改到 high ,中,或者 low,大不了不思考,主要评估下质量成品是否符合
    yeyucca2026-08-18AI10asfasfasq
    AI
  • yeyucca
    qwen 3.8 27B 5090单卡,256k上下文,promp fill 2.5-3k/s, decode 峰值可以在130+tks/s,均值在90tks/s热
    mlx对应的框架是否有升级,搭配mlx的模型,另外你这配置参数明显比较少,另外量化的话Q4起步,才19GB权重,别浪费你的统一内存,满血是指60GB权重的么,又因为27B量化比较好,Q4-Q5就可以接受的水平了,如果llama.cpp本身要是本身就在mac能用,指路看下呢 ![图片](https://cdn3.ldstatic.com/original/4X/f/e/d/fedbd788dfb83
    yeyucca2026-08-18AI10asfasfasq
    AI
  • yeyucca
    qwen 3.8 27B 5090单卡,256k上下文,promp fill 2.5-3k/s, decode 峰值可以在130+tks/s,均值在90tks/s热
    理论上你这配置非常顶啊,只不过我没在mac上搞过,你用的框架是下面三个哪一种,llama.cpp,vllm,sglang,下的模型是哪个,对于32G显存,甜点区用到Q4-Q5量化就够到了。另外要开启mtp 你这配置打底也要到100tk/s以上才行
    yeyucca2026-08-18AI10asfasfasq
    AI
yeyucca
yeyucca
Lv1 · lao1 0
TA的主题TA的回帖我的称号TA的收藏
提示