• WizisCool

    图片

    新会话起手就是几个工具调用,几乎秒回+疯狂思考

    但是超不过1分钟就开始慢慢掉速,100k以上的时候基本上tps就不过百了

    200k上下文时基本上TPS就在50左右

    官方API也是一样…不知道是不是我的个例(可能是我的Agent问题?)

    主楼
  • 木原金

    官方api没遇到过这种情况,1M上下文工作连续压缩几次之后,会话整体还是 250-270 tps

    #1
  • WizisCool

    图片

    切到官方试了下,依然TPS很低,我去排查一下路由和Harness问题..

    #2

发表回复

登录后回复