• 温州程序员劝退师

    这本来是七月份的复盘,忙忙碌碌拖到今天,不过正好分布式雷达上线也快一个月了,也算一个月度复盘吧

    毛两个月前,站长做了个 tibo 重置预告,针对 tibo 的推特进行分析来判断重置概率,在运行一段时间后我们发现大家在讨论重置之余,也总是诟病模型降智问题,因此我们一拍即合做了 codex 智商监测。

    最早的时候,我们拿了现成的 SWE 评测标准,几个人凑了点号在后台每天运行测算模型 IQ,得到一些基准数据并发布到网站上,没想到一经发布流量就爆了 ^-^ 原来也有很多小伙伴跟我们一样,对着经常货不对版的模型光烧 token 却得不到想要的结果。

    再次运作一段时间后,蹬友们开始不满足于每日一出的 IQ 报告,我们增加了评测频率,希望能提供更有时效性的 IQ 指标。其实中途也有热心的中转大哥想支援我们一些 token,但由于担心中转的模型不能直观有效地反应 oai 模型质量,我们商讨之后还是拒绝了,依然使用几个 20x 账号进行评测。

    再再后来,我们的钱包实在撑不住了(服务器、流量、订阅等综合成本实在是高昂),为了分摊一些成本,我们不再增加订阅账号,而是新做了一个分布式雷达站点,让蹬友们可以把多余的 token 贡献到具体的题目上,为 IQ 测算出一份里,也能增加智商监测的实时性。

    以上是两个站点的由来(其实还有一个 claude 智商监测站,但是 A\ 把我们手上的 max 号全封完了,遂暂停!(口吐芬芳))

    一路走来,感受到在工作之余为别人解决一些真切问题的谢意,互联网上的真诚感谢比真金还贵重,在此也感谢大家的心意支持和 token 支持。

    ===============================

    接下来汇报一下进展和未来要做的事情

    月活量已经做到了 40w(分布式站)

    图片

    收到网上热心大哥们的热心助力共计 12 万刀

    图片

    为了感谢大哥们的支持,我特地制作了 3D 打印奖杯作为答谢

    图片

    未来针对 SWE 基准和实际工程应用的体感偏差,我们正在抓紧商讨设计新的测试集,在这里要特别感谢 @80yan9 佬友的前端网站复刻相关帖子和 skill 在友好交流后,我们在想办法把他的成果固化成测试题,解决了前端工程能力测试难以度量的痛点。接下来我们希望我们能做出更贴合实际体感的测试结果,减少高分低能的情况出现。

    最后,衷心祝愿大家永不封号,永不降智,开心地蹬!

    主楼
  • 白芸汐

    有人一起做真好,我这种孤家寡人只能天天搞从零开始

    #1
  • Aluozzz

    每天早上到达工位除了泡一杯咖啡之外,就是打开分布式雷达站翻牌子 ^-^

    #2
  • 温州程序员劝退师

    我们一开始也有点玩票想法的,但是用户越来越多,这件事情就成了羁绊 ^-^

    #3
  • qqqq_quant

    求问网址是啥呀,我来瞅瞅,我来翻一下牌子 ^-^

    #4
  • A84493

    要是能加上长上下文能力的评测题库就好了,现在评测出来luna max比sol还强,但实际体感是Luna max在上下文长了之后就不行了

    #5
  • xie_reens

    这个站点是佬友做的嘛?多少人一起搞的

    #6
  • fonlan

    老哥NB,希望后续能加入更多模型的智商评测,包括更多国模

    #7
  • 温州程序员劝退师

    这个本来有考虑的,但是成本实在太高了,现在一个月的固定成本就破万元了 ^-^

    #8
  • 温州程序员劝退师

    暂时加上了 DeepSeek

    Kimi 买不到走 API 成本又太高了

    #9
  • Aluozzz

    搜索codex雷达就能找到了,网址就不发了

    #10
  • ishadows

    分布式的话,会不会存在中转站的测试数据混进去?

    #11
  • 温州程序员劝退师

    封装好的镜像里只允许官方调用,所以不会有这个问题

    #12
  • bibaichen

    感谢佬开发的雷达站,希望雷达站越做越好

    #13
  • wo_shi_nai_long

    佬你好,能不能做一个Claude 雷达,实时监测Claude的智商

    #14
  • 温州程序员劝退师

    连续被封号,暂时没钱再开新号了,不过近期会恢复 claude 监测的(等封号不那么猛)

    #15
  • scp3500

    支持大佬,我还想问一下deepseek比gpt少了一些题是因为涉及视觉吗

    #16
  • 温州程序员劝退师

    对,毕竟不是多模态模型,不知道 ds-v4-pro 最终端上来会是什么样

    #17
  • 神算子

    我也参与了下,网站有个问题,我无法看到跑分的历史记录。

    #18
  • 温州程序员劝退师

    感谢佬友的支持,建议佬友提一下问题反馈

    图片

    我们已经把反馈修复流程建立起来了,再次感谢

    #19

发表回复

登录后回复