• lanvent

    图片

    图片

    虽然其他家已经把DeepSWE刷成野榜了,但我还是愿意相信OAI有道德,看看Astra自己的成绩。

    档位 |
    Pass@1 |
    平均成本/任务 |
    输出 Tokens |
    步数 |
    |

    low |
    67% ±1% |
    $2.19 |
    11k |
    20 |
    省钱档位 |

    medium |
    73% ±3% |
    $4.38 |
    20k |
    26 |
    性价比首选 |

    high |
    73% ±3% |
    $5.72 |
    27k |
    27 |
    |

    xhigh |
    74% ±3% |
    $6.52 |
    30k |
    29 |
    最聪明 |

    max |
    73% ±1% |
    $12.37 |
    61k |
    28 |
    |

    日常开发medium很适合,高智力需求选择xhigh。

    主楼
  • Steven_lu

    我还是默认max

    #1
  • 青四皈依

    怎么还有倒反天罡

    #2
  • eroneko

    Astra提高思考强度只会增加思考token不会增加步数,换言之对于deepswe这个任务从medium往上几乎都是无效思考了?一通思考之后操作其实还是差不多

    #3
  • BigFace

    luna-max这么强吗?

    #4
  • 青四皈依

    意思是题目太简单了?

    #5
  • wayned

    补一张只有 Astra,清晰一点的图:

    图片

    #6
  • deepcake

    Openai以前就刷过分了吧,所以DeepSWE看起来提升不大,Astra、SOL、TERRA、Luna的分数都很接近。

    #7
  • lanvent

    图片

    让sol分析了下,佬可以看看

    #8
  • refalogy

    astra我还以为能几乎满分呢

    #9
  • 曦岚

    我看x上面说high

    #10
  • 时牧

    gpt luna(max)把老大哥astra(low)干翻了,下克上

    #11
  • 萌面大虾

    这样看哈基米3.8 Flash真的好恐怖 ^-^ ^-^

    图片

    #12
  • mi_tu

    3.8用下来还是gemini的感觉贼自信,用久了就瞎改,但是日常对话或者一轮写前端之类的确实很强了

    #13
  • mba03gl

    Gemini 这个模型的能力要是认真干活就是日翻一切的节奏,天知道谷歌是怎么调教的。

    #14

发表回复

登录后回复