• linmao

    之前不开websocket,首字1-2秒

    开了websocket,首字200ms-400ms

    最近更新到v7.2.146以后

    开启WebSocket不变的情况下,首字变3秒以上了?

    是websocket失效了,还是首字统计改了计算方法?

    主楼
  • VentiByte

    200ms显然是假的,做不到的吧。

    或者说这200ms只是中转的耗时

    #1
  • linmao

    所以之前websocket开启后首字时间其实是错的,只是安慰剂,现在修复了的意思啰 ^-^

    #2
  • Hao-linuxdo

    让 AI 分析了一下 CPA 源代码,发现新版本 CPA 的 TTFT 计算规则确实发生了一些变化,如下:

    图片

    更具体的, v7.2.145 及更早的 CPA 版本会在收到任何事件时终止 TTFT 计时,v7.2.146 则只会在收到实际生成 tokens 的事件时才终止 TTFT 计时。```
    这些事件现在不会结束 TTFT:

    codex.rate_limits
    codex.response.metadata
    responsesapi.websocket_timing
    response.created
    response.in_progress
    response.output_item.added
    response.content_part.added
    response.reasoning_summary_part.added
    response.web_search_call.in_progress
    response.file_search_call.searching
    response.code_interpreter_call.interpreting
    response.mcp_call.in_progress

    要等到以下事件之一才停止:

    response.output_text.delta
    response.reasoning_summary_text.delta
    response.reasoning.delta
    response.reasoning_text.delta
    response.function_call_arguments.delta
    response.custom_tool_call_input.delta
    response.shell_call_command.delta
    response.audio.delta
    response.image_generation_call.partial_image
    ```所以现在这个 TTFT 甚至会把一部分 reasoning 过程消耗的时间也算进去,自然就数值膨胀了。因为第一次生成 reasoning_summary_text 的时候显然已经进行了一个阶段的推理了。更何况有人根本没有开 reasoning summary。

    #3
  • yaozecc

    我也发现首字提高了,也不稳定,有的时候几百毫秒的时候五六秒

    #4
  • 菜鸡rrr

    本来就不可能几百毫秒,现在是合理的

    #5
  • linmao

    如果只是首字延后了,那TPS应该不变才对,怎么现在还变低了……

    对输出的结束判定也延后了嘛 ^-^

    #6
  • Hao-linuxdo

    由于 OpenAI 不会在推理过程中返回 reasoning tokens,真实的 TTFT 根本就无从计算。更新前后都只是估计,之前是估计的小了,现在是估计的大了。不过我也觉得现在要更合理一些,之前那个稳定 200ms 确实没有任何参考价值。

    #7
  • Hao-linuxdo

    实际情况是 TPS 升高了,因为 TPS=Tokens/(总延迟-TTFT),总延迟和 Tokens 不变,TTFT 增大,TPS 自然就增大了。可以看下面的真实统计数据:

    图片

    可以说 TPS 是显著增大了,而不是你说的变低了。如果你观察到变低了,有可能是样本数还不够多,也有可能你账号被限流了。

    #8
  • UESTC

    别看数据,不管什么首字,tps,就看体感,体感你觉得快了慢了?

    #9

发表回复

登录后回复