• Laplace9

    测试了下Gemini,豆包,千问,chatgpt还真是这样,有佬友知道为什么嘛,不太懂LLM原理。有朋友测试要么是22要么是17,这个是不是因为缓存问题?

    Gemini

    图片

    豆包

    图片

    千问

    图片

    GPT

    图片

    主楼
  • Dregoja

    豆姐回复我22(论坛标题竟然不能复制)

    #1
  • 席乐

    Kimi 回复 25。

    图片

    #2
  • Dregoja

    我是按帖主的提示词问的,一字不差

    #3
  • lgchhh

    哈哈17成了AI的幸运数字了,估计训练数据里这个数出现频率高

    #4
  • wmuj

    一样么?

    图片

    #5
  • 席乐

    图片

    图片

    #6
  • 550W

    这个模型调工具了肯定不是与模型权重相关的随机啊

    #7
  • killer

    大语言模型的本质是根据你过去的 token 推测下一个 token。所有的 token 都是有概率的,也就是说,它大概率会选用概率最高的那几个作为回答。假如大家的数据集都差不多的话,那自然训练出来的概率也都是差不多的

    但是为什么有的会提示不一样呢?

    当你让它写代码去帮你生成的时候,那自然的是真正的随机。当然了,归根结底,代码的随机数生成也不是完全随机的,这得看你怎么理解了

    #8
  • JUMP

    蛮有意思的。如果不联网,不用命令行生成随机数,貌似确实会生成17,问了AI说是训练的语料决定的下一个token是17;如果AI调用了工具,真的随机生成了,那就不是17了。

    图片

    图片

    图片

    #9
  • 不是不思考

    图片

    kimi是5呢

    #10
  • 𝙋𝙚𝙩𝙖𝙡𝙨

    图片

    神奇,GPT也是回的17

    #11
  • 白菜

    你这个用Python random生成的,不是模型的

    #12
  • BlueFunny

    感觉是原理限制,具体可以查一查 transformer 模型原理,这个问题之前也有人研究过了

    大致来讲,就是 LLM 吐字实际上就是在做一种概率运算,而所谓的模型其实就是这个概率运算公式的参数;大家最终看到一个问题在不同的模型上有不同的回复是因为参数本身有些差异,而一句话重新生成也能有不同的回复本身是后处理和一些特殊参数发生了改变后的结果

    但是数学这个东西很奇妙,就像你 1+1 只能得到 2 一样,所有模型的运算最终得出来的值也会趋近于同一个最优解,哪怕里面的参数是完全不一样的;再加上现在各大厂都是互相蒸馏,就会更加加重这种问题

    还有一个研究说是人类本身也有类似的趋势,让不同的人随便想一个随机数,他们有大概率想到 7 或者 3 之类的,最终大量语料就让这个特征变得明显了,从而导致 LLM 也有这样的问题;这个也有可能会影响,但个人感觉没上面那种影响大

    #13
  • Szou

    之前站里不就有人用这个原理检测模型有没有掺水吗?样本量大的话,每个模型的偏好数字应该是不一样的。

    #14
  • 我刘邦

    图片

    豆姐有说法的

    #15
  • 倪劳达

    冷知识:按住ALT键就可以直接选中超链接上的一部分文本,然后CTRL+C就好了

    #16
  • XUMUMI

    豆包开三次会话,全都是 17,测试的时候记得隔离上下文,而且同一个会话,给的第二个数是 9 或者 22 的概率很大

    #17
  • XUMUMI

    https://arxiv.org/pdf/2502.19965

    这篇论文也有说到是模仿人类的心理,或许可以找几个人类试试看

    #18

发表回复

登录后回复