不完整传是想让缓存归零吗？ 正常就是这样的啊

太好了，正需要这个东西！

好像是minimax的，就不要期待能力了

可，不过我没用llamacpp，但是llamacpp确实是可以双卡使用的，而且现在llamacpp也可以tensor并行和并发推理了，只是效果没有vllm、lmdeploy、fastllm、sglang这类对于dense模型可以线性获得双倍性能这么好，另外可能prefill也不够快。 如果你找不到合适的awq marlin 或者safetensor这类权重可以考虑llamacpp，实际上vllm等

不可能，agent时代算力是稀缺资源

这几天反代不风控了，但是3.7出来之后直接给大规模IP送中了

mimo的话不如直接买opencodego了

没有。 广联达有做过这方面的探索，但是也是多模态方案。应该到不了你想要的程度。