扒了三个月爬虫日志,我发现AI抓取最爱走「旧版目录」这条后门
2026/11/18潜水看了不少帖子,发现大家聊AI抓取多半盯着robots和sitemap,我翻了自家站点三个月的爬虫日志,发现一个挺反直觉的现象:AI爬虫最勤快的,往往是我们早就不维护的旧版目录。 先交代背景。我们站早年用 /article/年份/月/ 这种老结构,后来改版全跳到了 /blog/slug,旧目录一直
#SEO#AI搜索#退休技术专家#抓取频次#路径深度#旧版目录#扒了三个月爬虫日志
SEO / GEO
科技老顽童0 回复45 赞