• 蜻蜓队长

    图片

    各位佬用哪个包切片啊?然后embedding模型用哪个

    主楼
  • VibeKoder

    一般都是langchain里各种各样的textsplitter直接切吧,看自己需求,是固定窗口还是滑动还是切句子,embedding用bge的zh-v1.5

    #1
  • 蜻蜓队长

    佬不导包吗?自己写函数是吗(纯新手) ^-^

    #2
  • yuancjun
  • Eric12

    看你数据~

    如果是完美的markdown格式,直接使用markdown标题作为chunking,召回准确率非常好~

    如果是plain文本,那可能使用定长、overlap~

    如果是PDF+多模态,那就看天意吧~

    #4
  • 15319363681

    langchain里面不是有切片的方法嘛,我记得

    #5
  • 黑暗选择光明

    bge的zh目前对英文支持咋样?

    我测试的文档是中文占80左右

    #6
  • VibeKoder

    直接vibe coding啦,还要自己写代码太麻烦了

    #7
  • VibeKoder

    我也没测过,很久都没做过和rag相关的业务了

    #8

发表回复

登录后回复