• 晨旭

    本地3090 24G跑的Qwen3.8-27B-MTP-Q4_K_M.gguf

    llama.cpp启动命令```
    llama-b10472-bin-win-cuda-13.3-x64\llama-server.exe ^
    --model Qwen3.8-27B-MTP-Q4_K_M.gguf ^
    --alias Qwen3.8-27B-MTP-Q4_K_M ^
    --host 0.0.0.0 --port 5432 ^
    --ctx-size 256000 --parallel 1 ^
    --gpu-layers all --flash-attn on ^
    --cache-type-k q4_0 --cache-type-v q4_0 ^
    --spec-type draft-mtp,ngram-mod ^
    --spec-draft-n-max 2 ^
    --jinja --reasoning auto --reasoning-preserve ^
    --temp 1.0 --top-p 0.95 --top-k 20 ^
    --cache-prompt --cont-batching ^
    --fit off ^
    --log-file server.log
    ``参考的佬友提示词``
    在当前目录下,使用web技术制作一个图形化预览黑洞效果的网页,要求外观和样式要类似于电影《星际穿越》里面的黑洞卡冈图雅。黑洞背景要有其他星星,黑洞要有跟电影里类似的吸积盘效果和引力透镜效应。用户可以用鼠标旋转观察,并且在侧边栏可以调整相关参数体现不同参数黑洞的不同效果。你可以使用你认为必要的技术来实现这个网页,既要保证性能也要完成必要的效果。可以引入你觉得必要的第三方图形库比如three.js等等之类。禁止开启子代理,禁止调用外部软件

    
    ![图片](https://cdn3.ldstatic.com/optimized/4X/e/5/3/e53242da0278afbaba3ff4842f48025f3fd66b77_2_455x500.png)
    
    最终效果还不错,至少比qwen3好多了
    
    ![图片](https://cdn3.ldstatic.com/optimized/4X/2/5/4/25498540b15243d247bc7c621457e4e9956968bd_2_690x356.jpeg)
    
    ![图片](https://cdn3.ldstatic.com/optimized/4X/5/7/6/576928606cb43c1882a5a5a25a0a9ad44f4090a2_2_690x377.jpeg)
    
    我丢到cloudflare上面了,感兴趣的可以看看
    
    drop-ee138fe1-dbc.papapoi.workers.dev
    
    卡冈图雅 Gargantua · 黑洞实时光线追踪
    主楼
  • fck_all

    这个27B模型, 效果惊艳啊。 真的比很多api订阅靠谱, 不降智,满额度。

    #1
  • 斯特年

    看起来不错,我也来试一下佬的这个提示词。我部署的是BF16

    #2
  • 凌风神舞

    但是40分钟的思考时间也基本上干不了活, 不知道这个思考时间长是模型的原因, 还是受限于机器配置

    #3
  • 凌风神舞

    效果不错, 我找机会试着部署下量化版本, 估计也要跑很久很久…

    #4
  • 珏影

    这个效果相当惊艳啊,自己部署挺省心的

    #5

发表回复

登录后回复