• cnnqjban521

    主要能做下面几件事

    ① 统一接入与协议适配

    ② 身份认证与访问控制

    ③ 流量治理(限流 / 熔断 / 降级)

    ④ 成本计量与优化

    ⑤ 内容安全与防护

    ⑥ 数据安全与隐私

    ⑦ 审计与可观测

    ⑧ 策略引擎与护栏

    因为公司接入很多供应商的模型,但是模型的使用量,敏感性问题访问(和自己企业高度相关的)管控不了,想通过分配给各个应用的key进行管控。

    主楼
  • rapmq0

    sub2api不行吗?

    #1
  • verse4

    自己开发

    #2
  • cooreenb

    二开newapi

    #3
  • Aigot

    你这个得自己改吧,agent也统一?

    #4
  • Skenqs

    new-api/sub2api

    这两个如果不行,可以看一个比较小众的:https://github.com/astaxie/TokenHub

    另外new-api现在插件系统已经experimental了

    企业级token分发看着简单,个人觉得实际上非常复杂,如果自己做的话

    #5
  • cnnqjban521

    对,不是做着玩玩,是给大企业用的

    #6
  • Skenqs

    要自己写吗 ^-^ ,想想就是无底洞,考虑看看能不能套liteLLM什么的吧

    #7
  • cnnqjban521

    对,最好是非侵入式。

    #8
  • cnnqjban521

    我看了一下newapi是可以用,关键能承载多大体量的请求

    #9
  • Skenqs

    newapi不用担心,中转站都在用,属于商业认证过了。 ^-^

    #11
  • 1x

    Tailscale Aperture / Cloudflare AI Gateway

    #10
  • moonay

    接入的模型是直接官方的api吗?要开箱即用不太可能,还是需要量身定做

    #12
  • PassionArie-nodeseek

    bd

    #13

发表回复

登录后回复