中心化的 e2ee 就是个笑话，看看我自己打造的，https://dme.hukoubook.com/

@crocoBaby litellm 作为网关主要功能就是保证可用性（轮询策略，fallback 策略，主动 rp/tp 管理）的，我一般是发现 agent 长时间卡在重试就去网关检测各个模型的健康，然后用脚本批量把 rate limite 的模型删了，一天用下来删到最后就是 workbuddy 打底了😀 免费就是需要多费点功夫，没办法。通过合理的抽象，这点功夫并没给我带来额外的困扰。

https://gist.github.com/lovemyliwu/150f4eba0819e56c320080c72f9f584d