lao1 me
搜索
首页/AI

花巨资测试:Qwen3.8-27B_3090-5090-V100-上下文_横评

127
  • jeffccie
    jeffccie2026-08-23
    11431

    想跑 64K：RTX 3090 24G 是性价比首选（~37 tok/s Decode）。

    想跑 192K：RTX 5090 32G 完胜 V100 32G（Decode 52 vs 30 tok/s，1.73×）。

    想跑 192K：V100 32G 相比真是白菜价值得拥有（Decode 30 tok/s，）。

    图片

    图片

    图片

    主楼
  • jeffccie
    jeffccie2026-08-23
    11431

    全为真机实测，给各们佬参考。

    V100是真划算。就是慢点

    #1
  • coupile
    coupile2026-08-23
    8273

    dflash2不是可以加速吗，你这个测试用了吗

    #2
  • jeffccie
    jeffccie2026-08-23
    11431

    这个得换卡试，V100 架构太老只能用OLLAMA ，只支持MTP

    #3
  • jeffccie
    jeffccie2026-08-23
    11431

    图片

    搞起来试试，看能提高多少

    #4
  • jeffccie
    jeffccie2026-08-23
    11431

    听佬们的建议加了DFLASH和MTP，质的飞跃，从192K 从58飞到120

    图片

    图片

    图片

    图片

    #5
  • jeffccie
    jeffccie2026-08-23
    11431

    测试完了质的飞跃，但32G只能跑32K上下文，不过用原生MTP速度也翻了一倍。 ^-^

    #6
  • olivame
    olivame2026-08-23
    23093

    多少量化的呀这是，速度和量化关系也挺大的

    #7

发表回复

登录后回复