• qianyexingchen

    如题,GPU服务器是真的太贵了……一个月一百刀能有GPU服务器吗( ^-^

    主楼
  • Crueyl

    安全审查模型?

    #1
  • qianyexingchen

    是,前置扫描。

    #3
  • helloling

    一天3刀,一个小时3刀差不多,建议还是用api

    #2
  • qianyexingchen

    api成本太高,本来倍率就不高,很麻烦

    #4
  • pl6

    本地部署个小模型 你能接受不 ^-^

    #5
  • qianyexingchen

    都是小模型2b的足够了

    #6
  • pl6

    我给你部署 一天三块 无限使用怎么样hhh

    主要是 我tm才高一 等到成品弄好估计得一周 ^-^

    现在在熬夜补作业

    家里是pve跑ai max+ 395 包稳定的 除非停电了

    可以给国内frp也可以走你的 ^-^

    #7
  • qianyexingchen

    ^-^ 国内就算啦,服务器都在美西

    #9
  • pl6

    好 ^-^

    #10
  • pl6

    好奇下 多少的延迟能接受呢 ^-^

    #11
  • qianyexingchen

    区域尽量在美国,毕竟高并发审计下,虽然模型强度不大,但是丢包延迟什么的很麻烦。

    #12
  • pl6

    我提供 美西大妈corona ^-^

    #13
  • qianyexingchen

    老板你会亏的,本地我国内服务器也有不少高配,就是因为网络不稳定才想要美国的 ^-^

    #14
  • pl6

    行 今晚放学我来弄 弄好了给你测试 我不信了 一个核显我能亏啥 比挖矿收益还大 ^-^

    #15
  • pl6

    网络你要是不满意的话 我找人上po0-uspo0 能接受吧?

    #16
  • qianyexingchen

    也可以,不丢包不卡太久首字最好。

    ibm/granite3.1-guardian:2b

    sileader/qwen3guard:0.6b

    这2个模型,做好鉴权就行,看看一个来回多久,毕竟要做全量审查。延迟高用户体验是很差劲的 ^-^

    #17
  • pl6

    ok 今晚给你做好 到时候你要是真的想要我绝对能给你弄到po0双端 这两天弄好先给大妈的行不? ^-^

    #18
  • qianyexingchen

    可以测测

    #19
  • pl6

    llama.cpp应该能很快起 vllm我还没试过 估计得调试几天 但这个小模型基本无需在意 ^-^

    #8
  • LogicNova

    小模型本地跑就行

    #20

发表回复

登录后回复