• 花白

    用 Go 订阅的 V4F 跑了两次 TerminalBench 2.1 (官方的 0731 检查点 ~82.7%) ,第一次 75.28% ,第二次暴降到 64.04% ,这下真不知道为什么了^-^。

    主楼
  • 菜籽

    上游有很多provider ,给你路由到奇怪的供应商了

    #1
  • 3GZ

    其实挺正常的,小模型质量就是不太稳定,会有性能波动。跑分本来就是要多次采样,取平均分。

    #2
  • 花白

    我看官方说要跑五次算方差,所以在跑第三次。

    #3
  • CyreneNight

    应该是路由到神秘团队部署的神秘自托管模型了吧

    #4
  • 菜籽

    周五我就发现opencode 质量不稳定,今天研究了一天,opencode 预览版flash和正式版混用(找到确凿证据)多个provider(确凿证据),路由到量化(猜测)

    #5
  • 初九猫

    图片

    DeepSeek跑分的波动本来也不小

    #6
  • 忍者熊

    opencode go订阅也一样吗,我记得之前看过opencode官方文档中有介绍,go订阅中的deepseek是调用官方的,现在改了吗

    #7
  • 菜籽

    go 没测那么仔细,但是我 糖果题claude code 里面答不对,建议买官方API,官方API我10次9次都是对的

    #8
  • ppdx-linuxdo

    佬友跑完了吗 ^-^

    感觉opencodego 已经不是一个不错的选择了。

    #9
  • crazycrazyshui

    13是比较正常的,你看5.6也有10%,使用起来的感觉其实更像是preview和GA版的差异了

    #10
  • wanmu

    我昨天测官 api 10 次 3 对

    go 是 10 次 4 对

    是 opencode 这个 harness 的问题吗 ^-^

    #11

发表回复

登录后回复