• libreisme

    周五了,开始摸鱼)不是。这几天一直在高强度用 dsh, 虽然接的是codex或者是 k3, 但是我真的觉得好高的缓存命中率。感觉 在其他app中很难遇到?虽然有很大概率就是我的问题普遍都是很检索到就是了。

    图片

    主楼
  • admini-linuxdo

    一直以为缓存命中率和客户端的关系不大吧(客户端只要有良好的编排输入就行)。缓存不是 ai 推理服务器计算的吗?

    #1
  • Kassdin

    图片

    重点是上游不能抽风,本地客户端都差不多,顶多是工具调用轮次的区别。轮次越多总体缓存命中率就越高。另外上下文长度开的长,每次新写的 tokens 和写入缓存之比就低,每次缓存命中率就高,导致计算的平均缓存命中率也高。

    #2
  • libreisme

    但是其实我用axon的缓存统计,然后用cc或者是codex cli工具去访问,缓存命中率普遍都是70%?但是确实是,这个点我没去了解过。虽然我后面要做上下文管理的服务

    #3
  • Kiana_Kaslana

    图片

    图片

    一般情况下,项目推进高强度下,缓存率也在 97%以上呀

    #4
  • hackclaw

    图片

    不知道为啥我的dsh断掉后重新提问不显示新的问题和答案,除非新开一个对话,新开的话上一个对话的进度又没了

    #5

发表回复

登录后回复