- AI
- AI
- AI
- AI
- AI跑这么快,我还担心是降智了,马上测了一下鹈鹕,是正常的。 长输出基本都在50 TPS以上   这个auto的,是没开fast的请求,接近50吧, 7100/(164-18)= **48.6** 因为输出只显示7.1k,如果算上尾数,应该差不多50 TPS了
- AI
- AI
- AIChatGPT要再用GPT写ChatGPT 才会出现这种回归问题。
- AI
- AI
- AI
- AI我感觉是cline今天有抽风,那个缓存失效的请求前后不少失败请求。TPS也掉很低,都个位数了。
- AI我看了CPA的记录,是有些大上下文的请求缓存突然失效了,导致单个请求就是0.2-0.3刀。现在我限制上下文了,就怕缓存莫名其妙失效
- AI我之前的对话上下文经常是接近跑满1M的状态,所以每次对话消耗巨高。 所以我现在都把上下文窗口主动缩小了,限制到400K差不多,消耗就少了很多了。
- AI
- AI
- AI好像确实是这样,上下文小的时候,几乎秒回,现在600k了,比GPT还慢了,但是偶尔又能快上一两次
- AI是的,any路由器服务正常,然后一些佬友说他们企业用API的也正常。 所以大概率是负责订阅用户的这个key挂了,可能是某个实习生把这个key删除了,哈哈哈
- AI是的,就是官方挂了,我开始也以为是封号了吓我一跳
- AI你想象成,ChatGPT也搭建了一个“类似sub2api的东西”, 用的同一个Key接入的上游api服务。 但这个“类似sub2api的东西”给不同账号不同额度, 根据不同的账号进行风控,路由到不同的模型。
- AI不不不,重置的应该是“中转/反代”里的账号。
- AI status更新了,官方问题
- AI楼主方便把最后的6 astra的svg放出来吗?感觉强到不相信是svg画出来的。
- AI
- AI
- AI