• quiet-sleep

    突然冒出来的一点小思考:

    不知道最近佬们用GPT有没有一种感觉,就是这玩意越来越不说人话了,感觉很多时候,说的云里雾里的,完全看不懂。

    但是你让他再解释一遍,它又能组织一段能看懂的文本了,说明模型本身是有这个能力来输出好理解的文本的,但是默认情况下他就是不这么说。

    我在使用的过程中会发现这种情况,就是他输出的我看不懂的内容,我很大概率就会抛弃脑子,直接让他按照方案开搞。

    但是如果输出的内容我能够理解,反而会出现把生成的内容打回去返工很多遍,直到输出符合我的预期才停止的情况。

    众所周知,大模型训练现在这个飞轮,燃料很大一部分都来自我们这些对话的工程的数据。

    如果完成一个任务,模型输出一段很费脑子的话,然后用户无脑确认,这个任务链就短,反之就会很长,所以是不是大模型训练的时候,学这些短程任务就很快容易得分,而带来的负面影响就是不说人话。

    长此以往,随着这种数据越来越多,大模型也就越来越不说人话。这个好像和之前那个哥布林偏好一样类似的效果。

    主楼
  • frank2

    个人理解,现在大模型,盈利方向还是编程领域,所以都是针对编码特化训练的。

    而且编程领域已经有数据飞轮的趋势了,所以雪球只会越滚越大。

    #1
  • haiyuy

    佬们最近有没有遇到gpt突然一下子回复特别长的文本,让他解释某个东西,突然雷霆大输出,列个一二十点问题 ^-^

    #2
  • HLAIA光子

    就是这玩意越来越不说人话了

    我给你最直接的答案

    GPT 从来没有说过人话

    #3
  • undefined

    有没有可能,大模型有时候说的是某些行业的专业术语,你看不懂某些术语而已?

    #4
  • Drlinuxdo

    现在的旗舰模型不说人话的两个主要来源是:1.把英文词直译成中文;2.把固定搭配或词组强行压成一个字或缩短。

    这两都不是术语

    #5

发表回复

登录后回复