看的过瘾但玩不起呀,这显存要求太高了。
总参数 ≈ 304.65B
Layer 43
Routed Experts 256
Shared Experts 1
每 token 激活专家 6
Expert dtype FP4
其他权重 FP8
Hidden Size 4096
Context 1,048,576
Vision layers 32
Vision dim 1024
Vision max tokens 384
flash不也是这大小吗 参数就多了二三十B而已