• JJ-linuxdo

    用Hermes,codex都试过,一些简单的任务,都不太行

    不行的直接表现是经常重复自己,然后无限重复下去

    pi能好一点吗?是不是温度要设置高一点

    图片

    主楼
  • qdd28

    现在本地模型跑长任务肯定不行,再过几年吧大参数本地跑应该是常态。

    #1
  • LightningMaster

    我自己在pi和claude code中使用qwen3.8-27b,感觉效果都挺好的,参数没改过。不过使用xhigh推理等级确实容易出现过度思考或者循环思考的问题。

    #2
  • Lighfer

    应该是你部署的配置问题,或者量化模型的问题,我vllm+codex在goal模式下已经跑了2天多了。

    图片

    #3
  • Kassdin

    应该是部署和权重出问题了,这种一般先让别的AI排查下部署的参数吧,大概率不是模型本身的问题

    #4
  • 天天开心

    小模型就是会出现这种循环输出,我遇到过一次,直接停止然后说继续就行了,如果是经常出现还是要排查下

    #5
  • JJ-linuxdo

    xhigh

    没有量化,可能是部署参数的问题? (我是用sglang JAX确实本身有点BUG)佬你的参数是什么样的?可能是max-seq-len的问题么?```
    --context-length 262144 \
    --max-seq-len 4096 \
    --page-size 16 \
    --chunked-prefill-size 1024 \
    --max-prefill-tokens 1024 \
    --max-running-requests 2 \
    --schedule-policy lpm \
    --precompile-bs-paddings 1 2 \
    --precompile-token-paddings 64 128 256 512 1024 \
    --tensor-parallel-size 8 \
    --dtype bfloat16 \
    --device tpu \
    --mem-fraction-static 0.85 \
    --tool-call-parser qwen3_coder \
    --reasoning-parser qwen3 \
    --enable-unified-radix-tree \
    --enable-recurrent-extra-buffer \
    --host 0.0.0.0 \
    --port 1111 \
    --watchdog-timeout 14400 \
    --log-level info \
    --log-requests

    #6
  • Lighfer

    配置发了,需要审批。。等吧。。。。

    #7
  • JJ-linuxdo

    好 谢谢佬 没想到配置也还要审批

    #8
  • JJ-linuxdo

    图片

    pi 也不行

    #9
  • sonemeng

    我部署了,但没咋用,想问下佬用起来如何,这玩意儿傻不傻瓜

    #10
  • Jchenpku

    替换了之前Qwen 122B那个MOE,用了几天跑openclaw感觉还是可以啊,没用来写代码过,就是弄些整理日历,搜索整理文档的时候,感觉比122B那个问题少

    #11

发表回复

登录后回复