lao1 me
AI
服务器
日常
推广
公告
搜索
主题
回帖
收藏
qwen4系列首曝,下一代max,plus,qwen4-27B。阿里云杭州云栖大会上午总结
热
上下文小一点,16gb能跑量化版的,也可能qwen4会有更好的压缩上下文技术
996
2026-09-22
AI
19
acai
AI
cursor 怎么买性价比最高?
还有量大,还喜欢vscode看代码的话也方便些
cumquat
2026-09-14
AI
3
她的比赛不进去
AI
大家现在都在用哪个agent?codex,claudecode,dsh,pi?说说原因
想用哪个模型,就用他家的工具
ChricHuang
2026-09-14
AI
7
看到我,叫我去学习
AI
Qwen3.8-27B-FP8 部署兼容性问题咨询
热
GitHub - fengwm64/vllm-cuda126-builder: Auto-build vLLM Docker image with CUDA 12.6 via GitHub Actions · GitHub 有支持低版本cuda的构建项目,可以试试能否降到12.2
arthas
2026-08-21
AI
12
dovelie_z
AI
Qwen3.8-27B-FP8 部署兼容性问题咨询
热
能用cuda12.2重编译vllm及其依赖吗,或者转llama.cpp跑gguf
arthas
2026-08-21
AI
12
dovelie_z
AI
RTX4060-8G本地运行Qwen3.6 35B A3B模型;台式机,拓展坞双场景测试结果
热
是的,激活参数少,比9B的稠密模型快多了,最占显存的反而是预开辟的上下文
ezios
2026-05-20
AI
14
LenGary
AI
RTX4060-8G本地运行Qwen3.6 35B A3B模型;台式机,拓展坞双场景测试结果
热
3060 12G显存,很容易跑到40~52/t/s
ezios
2026-05-20
AI
14
LenGary
AI
提示
×