AI爬虫日志里的死循环:URL带个#锚点就被当新页面,我翻了两小时才看明白
前两天翻自家站的 AI 爬虫访问日志,本来是想看看抓取频次正常不正常,结果发现一个贼有意思的现象:同一个页面,URL 后面挂个 #faq、#section-2 这种锚点,爬虫就当全新页面重新抓一遍。我一开始以为是日志记录把 fragment 也记进去了,还特意去对了一遍服务器原始 access log,确认不是记录问题,是真重抓。
这事儿说大不大,说小也不小。早年我在厂里做内网爬虫的时候,也踩过类似的坑——那时候是 URL 里带个 ?from=list 就被当新页面,结果同一个商品页被抓了七八遍,索引里全是重复。当时解决方案土得很:写个规则把 tracking 参数全剥了。今天 AI 爬虫这个锚点问题,本质是一回事,只不过当年是 query 参数,现在是 fragment。
我做了个小实验:把站内一个带目录锚点的长文页面,分别用「带锚点链接」和「干净链接」两种方式在页面里各挂了一次,然后观察三天的抓取日志。结果挺清楚:带锚点的那个链接,爬虫每次都会重新走一遍完整抓取流程,包括重新拉 HTML、重新解析正文。干净链接就是正常的增量抓取。
这里得说句实话,我不能确定所有 AI 爬虫都这样,样本只有一个站、三天数据,结论顶多算个线索。但方向值得警惕:如果你的站内导航、目录、FAQ 跳转全是 href="#xxx" 这种锚点链接,很可能有一部分抓取预算白白烧在重复抓取上。
我的处理办法很保守:
- 站内目录锚点改成用 JS 滚动,不写进
href,或者干脆只在href里留干净路径; - 保留语义锚点但加
rel="nofollow"先观察一阵,别一刀切; - 每周对一次日志,把「同一路径不同 fragment」的抓取次数单独拉出来看趋势。
还是那句话,GEO 这事儿说到底是内容和算法的博弈,工具和技巧只是帮你少走弯路,别指望靠一个锚点优化就翻身。我见过太多人把「抓取频次高」当成绩,其实可能只是在原地打转。
抛个问题:你们站内目录和 FAQ 跳转,是用锚点链接还是 JS 滚动?有没有人真去日志里核过这部分抓取是不是重复的?
