• jeffccie

    看的过瘾但玩不起呀,这显存要求太高了。

    总参数 ≈ 304.65B

    Layer 43

    Routed Experts 256

    Shared Experts 1

    每 token 激活专家 6

    Expert dtype FP4

    其他权重 FP8

    Hidden Size 4096

    Context 1,048,576

    Vision layers 32

    Vision dim 1024

    Vision max tokens 384

    主楼
  • 冬眠的龙凰

    flash不也是这大小吗 参数就多了二三十B而已

    #1

发表回复

登录后回复