• terry

    据英国《金融时报》最新报道,字节跳动目前正处于一项超大规模基础模型的预训练阶段,该模型最终规模最高可能达到 10 万亿(10 Trillion)参数。如果顺利完成训练,这将成为全球规模最大的 AI 基础模型之一,也将刷新中国大模型的参数纪录。

    消息人士透露,这款模型目前仍处于 Pre-training(预训练) 阶段,这一过程通常需要 3 至 6 个月。最终模型是否达到 10 万亿参数,还将根据训练效果进行调整。

    参数规模首次冲击 10 万亿

    如果按照报道中的最高规模计算,这款模型将比月之暗面的 Kimi K3(约 2.8 万亿参数) 大出三倍以上,也远超此前国内主流万亿级模型。

    报道称,目前业内普遍估计,Anthropic 最新的 Mythos 5 模型约为 8 万亿参数,而字节跳动此次瞄准的目标,甚至可能超过这一规模。由于 Anthropic、OpenAI 等公司并未公开官方参数数量,因此相关数字均来自行业估算。

    不过,业内人士也强调,参数规模并不等于模型能力。模型最终性能仍受到训练数据质量、架构设计、推理方式以及训练策略等多种因素影响,因此更大的模型并不一定意味着更好的实际表现。

    大就是好^-^^-^^-^

    https://www.ft.com/content/9b8383b1-a28d-4940-8c4e-2f0cd21556ef?utm_source=chatgpt.com&syn-25a6b1a6=1

    主楼
  • calendar

    准备训练出一个超级大豆包吗 ^-^

    优质语料真的有 10 万亿吗

    #1
  • Rory

    3到6个月后,Anthropic估计都十五万亿的模型要发布了

    #2
  • Greenmood

    都已经报导了,还能秘密吗?前天还说是5T,现在已经是10T了

    #3
  • Lur1n77777

    过几天又要说 20T 了,马上超级巨无霸豆包就要出来了

    #4
  • yeluo001

    昨天看还是评估是否训练5万亿,结果今天新闻就变10万亿?

    #5
  • a12908

    优质语料那是没有的 但是以字节的数据 劣质的有永远不止100万亿 ^-^

    #6
  • Lur1n77777

    训练出一个巨无霸豆包也蛮好的,能有源源不断的快乐

    #7
  • seatea

    不是,还能动态变化的?前几天才说 5,现在又变成 10 了?

    #8
  • Eree

    不得不佩服,公司对内保密太好了,内网看不到的消息都得跑外面才能知道。

    #9
  • Silence

    都在资讯里看到了,那就不是秘密训练了。。。 是公开训练了。。。

    #10
  • yangchuangjie

    疯狂堆参数,过两天发布一个超级大豆包,但是实际使用豆包模型做开发的应该没有吧

    #11
  • 太阳之子

    力大砖飞? 这么大的模型拿啥部署啊, 跟k3一样都快几个月了还没解决算力不足问题,也没几个服务商愿意部署,上不去下不来

    #12

发表回复

登录后回复