• 李大普

    输入/缓存/输出 分别是 3/0.6/12

    图片

    这更是比高峰时段的 v4 flash 还贵 ^-^

    图片

    主楼
  • Ruby

    我在16g显存的显卡上自部署能跑160K上下文了,也勉强凑合用用了

    #1
  • leisure

    这么贵,还不如用DS的,效果更好点

    #2
  • 咪叭

    阿里是这样的,之前的qwen3.5 3.6也是这样,习惯了

    #3
  • code

    听一些佬友说稠密模型激活参数多,推理成本高

    #4
  • 李大普

    还真是,你说完我去看了一眼,3.6 27b版,甚至是3¥/18¥,还没缓存^-^

    #5
  • cyclopentadiene

    一方面设高价推大家做自部署能吸引用户群,另一方面如果不部署要用API,那就多收点也不亏 ^-^ 该租卡整uncensored了

    #6
  • 海獭

    阿里云的模型主打tob,tog,贵点很正常

    #7
  • igg8

    大佬,怎么部署,能不能给一个大概的思路

    #8
  • Ruby

    unsloth那个ud-q3的13g量化,然后走llama.cpp的turboquant分支,k开tb4 v开tb3.上下文131072 显存占用15.4g 共用显存0.2g 都开tb3就可以160k了

    #9
  • GloryDuck

    国外自部署的也差不多这个价,不知道基于什么定价的

    看了一圈基本输入都要 $0.4/M

    #10

发表回复

登录后回复