• 人工智障

    千问27B从Qwen3.5,3.6一直以来都是我心中绝对王者的地位,不接受任何反驳,多模态、稠密模型、消费级端侧部署、小模型当中的全能怪兽,性能天花板。可以毫不客气的说,它几乎可以应对你日常工作生活中各种量大管饱的场景,现在全新的Qwen3.8马上登场了,好激动啊,怎么办,谁能体会我现在的心情

    图片

    图片

    主楼
  • wangjh

    这个模型 16G显存 可以部署么

    #1
  • cash7

    一直在期待3.8的27B和35B两个模型

    #2
  • knight_lc99

    之前用我的6800xt 16g的跑过3.5 27b,可慢了,哈哈哈

    #3
  • wangjh

    确实 我印象中27B的模型 Q4量化 都塞不进16G的显存

    #4
  • Cyclone77

    至少上A100才能跑起来,当然量化版不需要这么大

    #5
  • 辣椒炒肉

    我还在用3.6量化,我也是16g显存,勉强能

    图片

    #6
  • 路人A

    有点像

    图片

    图片

    #7
  • wangjh

    跑的流畅么。这个尺寸 是不是砍了多模态的

    #8
  • mikey

    q4都得20G vram吧,kaggle的 2XT4 可以跑起来,几十tps差不多

    #9
  • fdsgfdh

    对国模不感冒就是源自于千问,发布捅破天,实际使用一坨

    #10
  • 辣椒炒肉

    应该没有吧,mmproj是有的,也可以识别图片

    #11
  • since

    3.8MAX开源版感觉很鸡肋,阉割了视觉和非思考模式都不知道有啥用途,希望27b给力点

    #12
  • 淹没

    35A3B有消息吗?我m3m 64g 还是想试下moe,dense有点难顶

    #13
  • 匿名者

    等不及了。192G内存狠狠的搞起来。等待一手Uncensored版本。

    #14
  • AmeowCAT

    我倒是挺期待能同步出个草稿模型的 不然稠密模型还是慢了点 ^-^

    #15
  • zhiqing-linuxdo

    希望长任务能好一点,现在api太贵,玩龙虾都玩不起了

    #16
  • 辣椒炒肉

    稠密模型有点慢,平时更多用35b

    27b跑10 t/s

    35b跑30 t/s

    #17
  • marcussmartchn

    我有个24G显存的4090D,勉强能跑起来

    #18
  • BananaPancake

    用mac的佬可以试试github上的mtplx这个项目,我m5可以从mlx后端的20tks变成60tks

    #19

发表回复

登录后回复