• Sky390

    如题,看到佬友的 All API Hub 上有个统一 API 设置,想问问自建 AI 网关将 api key 聚合成一个有用吗,会不会掉速?我用的大部分都是中转站。

    主楼
  • 𝙋𝙚𝙩𝙖𝙡𝙨

    做一个调度策略,该降级降级,该冷却冷却,应该就行了吧,只不过别把能力差太大的聚合到一起 ^-^

    比如ccload

    #1
  • Sky390

    需要放服务器上面吗?可以在本地跑吗

    图片

    #2
  • Scheme

    我不喜欢这样 我就喜欢一个好用的渠道猛猛用,然后知道自己在用什么渠道

    不过你可以有个这样的网关,就算是手动切换也是不错的

    #3
  • 𝙋𝙚𝙩𝙖𝙡𝙨

    都可以啊,就你自己用的话下个可执行程序在本地用就行了

    #4
  • Sky390

    还想问问比起散渠道有啥优势啊。

    图片

    #5
  • 拓真

    只会增加点延迟 好处就是你策略写的好可以做到负载均衡 不间断的蹬

    #6
  • 𝙋𝙚𝙩𝙖𝙡𝙨

    你如果想很多个渠道很多个模型都用的话,可以整个网关路由到一起。

    只有一个渠道的话,你想看一些更详细点的日志分析的话也可以放到网关用

    路由到一块的模型能力差距不要太大了,不然用起来也挺难绷的(神区二相性)

    #7
  • icheer

    我也不想混合不同渠道暴露相同模型,这样感觉很黑盒。所以我的new-api用tencent/deepseek-v4-flash || nvidia/deepseek-v4-flash 这样的{渠道id}/{模型id} 来做重定向,使用的时候也知道自己正在用哪个渠道的模型

    #8
  • 诸葛御风

    new-api能自动冷却和熔断及重试吗?

    #9
  • jue

    好用啊,cliproxyapi呗,我还以为谁都会搞一个呢,好处就是token统计、还有方便管理。

    #10
  • icheer

    每个渠道是支持"自动禁用"的 (上游特定状态码时触发自动禁用,应该就是你说的熔断), 但一旦禁用似乎并不支持自动启用了 (禁用就是禁用,除非手动启用);

    系统设置里支持"重试次数";

    #11

发表回复

登录后回复