• K.Kang

    如题,时间久了还是想着要自建自己的AI中心。

    现在TB我看大概还是3万多。

    还是说去入mac的坑

    还有一个原因是现在用的很多套餐,比如GLM、Minimax、Kimi都是老用户模式,总有过期的一天

    主楼
  • laokke

    看你要部署啥模型. 小模型的话 不如捡二手垃圾吧.

    #1
  • pink

    可以自部署uncensored模型

    #2
  • K.Kang

    越大越好,可以对最新的开源模型进行替代级别的部署

    #3
  • Acue

    不缺钱就买啊,这个问了其实没啥意义吧

    就像别人劝你不买,你躺在床上辗转反侧脑子里都是这玩意,吃喝拉撒想的都是用上了就好了,那别人的劝就毫无意义 ^-^

    最重要的一点:千万别大晚上决定买东西

    #4
  • chapiom-linuxdo

    看你要部署什么项目了,这个硬件好像内宽带宽不太行,部署出来速度也很一般。这价格还是买API或者套餐比较划算一点。

    #5
  • K.Kang

    MAC会更好一点么?比如M5 max的96,256或者即将上市的512

    #6
  • K.Kang

    还有一个原因是现在用的很多套餐,比如GLM、Minimax、Kimi都是老用户模式,总有过期的一天

    #7
  • 咪叭

    以前买才没什么意思,以前本地能跑的模型不怎么好用

    现在买有不少好用的模型了,主打未来可期

    #8
  • xiaofei_xiao

    不如自己捡垃圾搞几个显卡负载均衡或者买一台mac,这样还能办公

    #9
  • K.Kang

    mac有M1、M2的了,买当然是OK,只是大概率是当推理机。

    #10
  • 家反

    没意义 decode主要看带宽 这个东西带宽才273 不咋行 不如搞个170Hx矿卡

    #11
  • 我心永恒

    没有任何意义,现阶段没有什么必要买这些设备,正是贵的时候,而且这些在线的 api 价格比电费还便宜

    #12
  • paragone

    我之前也纠结过,最后选择了m5ultra + 256G, 目标就是v4 flash这种模型,因素就是体积、功耗、噪音、通用性等方面,这方面mac studio目前是独一份,而且后续出也不会亏太多,目测tps应该能有50以上的。

    #13
  • K.Kang

    这次新出的是吧,没等512GB?

    #14
  • 二树

    mac studio现在跑的是没2台dgx快,但是算力上限是更高的,后续优化下来保值率更高,而且10月底有512GB的版本,虽然更贵但是可以原生跑gl5.3 flash 1M,对接下来的新模也有冗余。机器本身还可以开mac os环境专门跑cc和苹果生态,兼软路由、连硬盘盒当NAS

    #15
  • paragone

    512g感觉没必要,能放下的模型,prefill慢,tps也不会太高。。还不如就使用flash,本地部署目前就这种模型养agent或者一些明确的coding就行了

    当然,如果测试数据出来了,也不排除出了256换512,等后续评测数据吧

    #16

发表回复

登录后回复