• Kittc

    就像从前只有少数人才能用到电脑一样,如今遥不可及的算力,终将成为电脑的基本能力。

    各位佬觉得呢

    主楼
  • bblood

    什么叫遥不可及的算力,配个显卡不就有算力了吗,再不济CPU也能推理啊。 ^-^

    #1
  • ppdx-linuxdo

    目前还没看到类似希望,毕竟现在越小模型越拉,还没看到效率做的多好。

    就像发电机一样,不可能人手一台。

    #2
  • Dopawei

    不用配置算力,白菜价大模型API就行。大算力还是成本太贵,要有底层的科技革新

    #3
  • wjy

    现在不就是了吗?笔记本芯片自带一个不知道有什么用的npu

    #4
  • jiramew

    我甚至在期待,10年内能有新架构的模型,让一般消费级显卡也能轻松跑的大模型。(虽然现在也可以跑一些量化后模型,效率还是差很远)这样才是人人大模型时代的到来~

    #5
  • tino

    大的趋势是这样的,但是资本的大手也盖在我们的头顶

    #6
  • 把问题逼到墙角

    普通人用电不需要自己配一个水电站

    #7
  • 纯真的薯薯

    大模型那规模就不是给家用准备的,这想法就和早期的PCDN想法相似,但算力并不能无限拆分 总结就是不现实

    #8
  • 佐木

    什么时候自己家的电脑也能部署满血版deepseek就好了

    #9
  • Grogu

    即使现在,算力也不是最大的问题啊 ^-^

    #10
  • zljbjh

    没明白你说的意思…一块几百的嵌入式开发板都有几 tops 的算力,一台几千的电脑带个显卡本地都能部署几 b 的模型,再量化下,几十 b 都能部署。哪怕没有显卡,纯 cpu,也能部署一个小模型。更别提 colibri 这种极端的了。

    #11
  • Tan9

    成本上就不合算,不需要人人都买发电机,算力像网像电,要吃饭不一定要自己种水稻,成本上来讲集群规模化才是解决方案。

    #12
  • 晨旭

    现在ai的瓶颈不是在算力吧,是在内存延迟

    #13
  • 小浣熊2020

    离普通人还是太远了。个人电脑上的算力只是勉强够用。用大模型还是大厂的事咯

    #14
  • Windows11

    2.8T的模型本地部署就算是10年后也没法家家都部署啊

    #15
  • xiaoddiao

    感觉不太可能,LLM都靠堆参数来进步了,小模型部署真不太行吧

    #16
  • Marcojbk

    标题都是病句吧?什么叫成本基础能力

    #17
  • Kittc

    级显卡也能轻松跑的大模型。(虽然现在也可以跑一些量化后模型,效率还是差很远)这样才是人人大模型时代的到来

    以后可能只有大杯和超大杯,大杯融入到普通PC,提供能解决80%问题的能力,其余给到算力厂商。

    #18
  • guan

    最大的问题是,好的小模型不开源,同成本商业模型效果更好

    本地化盈利模式是个问题。

    #19

发表回复

登录后回复