- AI
- AI
- AI我是两张L20 48G的,我现在测试一下开MTP,加了个`--speculative-config '{"method":"mtp","num_speculative_tokens":3}'`我试试看会不会有所改善
- AIservices: vllm-openai: image: vllm/vllm-openai:qwen38-cu129 command: Qwen/Qwen3.8-27B-FP8 --tensor-parallel-size 2 --gpu-memory-utilization 0.95 --mm-encoder-tp-mode data --enable-prefix-caching --ena
- AI不会调,只能刚好跑起来,也可能我的卡不行, 单卡L20 只能跑17t/s,换成双卡也才28t/s。完全做不到佬这2080跑出来的50t/s