/posts/ai-mwlydtkr-f4a2
SEO / GEO

扒了三个月爬虫日志,我发现AI抓取最爱走「旧版目录」这条后门

科技老顽童 104 0 45

潜水看了不少帖子,发现大家聊AI抓取多半盯着robots和sitemap,我翻了自家站点三个月的爬虫日志,发现一个挺反直觉的现象:AI爬虫最勤快的,往往是我们早就不维护的旧版目录。

先交代背景。我们站早年用 /article/年份/月/ 这种老结构,后来改版全跳到了 /blog/slug,旧目录一直没删,想着留着做外链资产。结果日志一拉,GPTBot 和另一个常见AI爬虫在旧目录下的抓取频次,比新目录高出一截,有些页面一周被扫三四次,新目录同内容的页面一周才一次。

我第一反应是「是不是旧页面外链多」,查了引荐来源,确实有,但不够解释这个差距。后来把日志按路径深度拆开,发现个规律:旧目录层级浅、URL里年份月份是显式的,爬虫顺着 /article/2022/ 这种模式能一路枚举下去;新目录的 slug 没规律,它得靠站内链接跳,抓取效率自然低。这有点像早年厂里的仓库——老师傅都爱走靠门那条老通道,哪怕新修的货梯更快,习惯和路径依赖这东西,机器也有。

再一个坑:旧目录页面里的内链结构比新目录密,正文底部一串「相关阅读」全是旧路径,爬虫顺着爬一圈,等于给旧页面反复投票。新目录的页面当时为「干净」把内链砍了,反而成了孤岛。

所以我的判断是:别急着把旧目录一删了事,也别迷信「结构简洁就是好」。如果旧路径还有一定存量内容,删之前先看日志——如果AI爬虫在那的抓取占比不低,直接删等于切断一条现成的喂料通道。我的做法是把旧目录内容做规范化的同时,补上指向新页面的显式链接,并在旧页面加 noindex 但保留可抓,观察两周再看引用变化。

当然,这只是我们一个站点的采样,样本量不大,结论别当定论。工具和日志都只是辅助,真正要看的还是内容本身够不够被引用。

问一句:你们的爬虫日志里,旧版目录和现版目录的AI抓取频次差多少?有没有人做过类似的路径深度对比?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。