• Equinchaos

    工欲善其事,必先利其器,于是我就测试了一下各个主流Harness

    提示词

    创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画。

    用的是常用的鹈鹕骑自行车。

    统一使用GPT-5.6-luna (max)

    以下就是各个harness的成绩了,佬友们自行评价吧

    首先上场的是Codex

    图片

    接下来是第三方评测中很强的老牌Cursor

    图片

    还有oh-my-pi(感觉它有个好处就是问题很详细)

    图片

    Hermes竟然还不错

    图片

    接下来是Opencode

    图片

    再而外测试了一下deepseek v4 flash

    这是Codex

    图片

    **这是Opencode,不该这么拉吧

    图片

    结果发现都打不过哈基米3.6flash

    图片

    作为对照,这是5.6sol-xhigh直出

    图片

    以下是用量

    图片

    啥都没标的是Hermes,Cursor约1.2M

    得出结论:模型大于harness

    主楼
  • linjinpeng

    大差不差的,我的评价是只要模型好,哪个省token用哪个,需要啥自己再搓一个就行

    #1
  • 阿发

    佬,再测测,加skills后效果会不会好点,希望能对skills祛魅

    #2
  • Ys_Ltr

    我感觉这些harness都差不多,都是你抄我我抄你,没有什么本质上的不同,无法体现harness的效果提升能力。

    #3
  • NascentSoul

    测不出什么吧。起码要跑个长程任务,如果不是复杂任务,harness 就没有意义了。

    跑个药物分子分析,跑个网站逆向,写一本小说,做个财报分析,这些才能看出效果吧。

    #4
  • 林夕

    话说怎么没有这行的开创者 claude code

    #5
  • imdoge

    测harness应该测复杂多轮agent任务,跑个oneshot画svg干嘛

    #6
  • neroZac

    既然已经测了omp,不顺手就测下pi么

    #7

发表回复

登录后回复