• darkhandz

    本地一台DGX Spark GB10部署的Qwen3.8-flash-next,prefill 2100~2300, decode 30~40 tok/s。

    用pi agent,只安装了一个看对话耗时的插件,用cc-switch配置的api,思考强度也做了映射:

    配置

    “contextWindow”: 240000,

    “maxTokens”: 16384,

    “thinkingLevelMap”: {

    “max”: null,

    “off”: “none”,

    “minimal”: null,

    “high”: null,

    “low”: “low”,

    “medium”: “medium”,

    “xhigh”: “xhigh”

    }

    提示词:画一个鹈鹕骑自行车的动画, html格式, 不需要测试

    跑了10多次xhigh的,8次medium的,4次low的,发现个奇怪的情况:xhigh每次耗时一般在12~16分钟(思考是英文的),low在2~4分钟(思考是中文的,内容比medium长),medium不知道为什么都在1~2分钟之间(思考是英文的)。我怀疑low和medium不知道我在哪里配置搞反了。

    以下是xhigh


    14分钟

    图片

    16分钟

    图片

    13分钟

    图片

    17分钟

    图片

    16分钟

    图片

    6分钟

    图片

    16分钟

    图片

    7分钟

    图片

    12分钟

    图片

    13分钟

    图片

    16分钟

    图片

    33分钟

    图片

    10分钟

    图片

    以下是medium


    1分钟+

    图片

    图片

    图片

    图片

    图片

    图片

    图片

    2分钟

    图片

    以下是low


    4分钟

    图片

    6分钟

    图片

    2分钟

    图片

    4分钟

    图片

    4分钟

    图片

    2分钟

    图片

    2分钟

    图片

    3分钟

    图片

    主楼
  • PonyDavi

    后面几张图真的是笑死我了,太离谱了

    #1
  • 蹲神

    应该一层放一张

    图片

    方便针对性boosts吐槽

    笑死

    图片

    图片

    #2
  • talentchuangz

    大佬,你是怎么部署的,单机有30到40tps,我撑死了20多呀,也是单spark,大佬能教下嘛

    #3
  • darkhandz

    我是这里拿的配置 blazux/qwen3.8-Flash-DGX

    #4
  • talentchuangz

    挺牛逼,大佬,这个速度直接一上来就达标拉

    #5

发表回复

登录后回复