- 大陈大2026-09-2130102
佬友们,请教下。
目前有很多GEO爬虫任务,关于XHS,deepseek,doubao,
目前遇到的问题,只要xhs,deepseek,doubao页面元素改变,就需要重新开发,特别是豆包,还要各种验证码,
是否有computer use agent 这样的工具,遇到稍微小的页面改动,或者验证码,可以自动的过掉
主楼 - Bear_King2026-09-218523
我想问下 geo 现在 联网搜索是模型搜索 还是自己定义工具搜索
- 大陈大2026-09-2130102
应该是模型吧
- safe_1day2026-09-2111002
找特征开发呀,不要只啃dom元素,像图标啥的很久才变
- dunNaNa2026-09-215583
试试cua吧,挺多接入的 github : trycua/cua
- Jack2026-09-217963
是要把网页内容抽成markdown?
开源的挺多的 收费的也有tavily saerch
另外原理也很简单 网页内容千变万化 html标签就那么几十个
一般固定的标签放同类内容 原理上使用正则表达式就能抽取出来网页内容
- 大陈大2026-09-2130102
感谢佬,豆包的验证码比较难过,想着用大模型手动滑过去
- 大陈大2026-09-2130102
- 绿豆粥稀饭2026-09-2114924
我的方法是在影刀上写工作流,这样还挺好修改的
- Jack2026-09-217963
验证码就别想了 魔高一尺道高一丈
- safe_1day2026-09-2711002
这个找三方的接口做就好了,一次好像几毛钱