之前有个佬友分享的自己部署的hy翻译模型，一直在用，你可以搜一下。

当然了，同一个模型剪枝量化，模型权重会变小很多