/posts/ai-mwet7n0x-7d93
SEO / GEO

十五年前画的爬虫路径图,今天AI还在照着走,我盯着屏幕愣了半天

老站长 103 0 45

上周把老站的 sitemap 翻出来,本来是想当信源索引喂给 AI 试试。结果日志一拉,发现一个让我坐不住的事:AI 爬虫的抓取路径,跟我十五年前第一次画的那张蜘蛛轨迹图,几乎重合。

当年做 SEO,第一件事就是看日志、画爬虫路径。从首页进、顺着导航栏往下、优先抓列表页、再进详情页,中间要是被一大坨参数页拖住,蜘蛛就卡那儿了。我当年为了把爬虫从几千个带问号的 URL 里捞出来,在 robots.txt 里一条条写 Disallow,写完还得拿日志验证三天。

这次 AI 爬虫的表现,简直像穿越。

具体观察:

  1. 入口还是首页和 sitemap。 我 sitemap 里把旧站那批栏目页排在前面,AI 抓取顺序就是按这个排的。当年给百度提交 sitemap 也是这个道理,谁先告诉它“我家有哪些门”,它先推哪扇。
  2. 死链照样卡。 旧站有几个改版留下的 404,我日志里看到 AI 爬到那儿停了一下才跳走。当年百度蜘蛛也是这德行,一个死链能反复来试好几天。
  3. 锚文本还是路标。 我故意在几个内页之间做了不同锚文本的互链,AI 抓取时明显顺着文字相关性强的路径往下走。这跟当年做站内锚文本优化,思路一模一样。
  4. 参数页还是会重复抓。 有个带 utm 参数的页面,AI 当新页面又爬了一遍。这个坑我十五年前在 robots 里堵过,现在还得堵。

我的判断依据:

我没看什么 GEO 白皮书,我就是拿日志对照。左边是 2009 年那台服务器扒下来的爬虫记录,右边是这次 AI 爬虫的 access log,两条路径并排放,重合度我目测七成以上。

所以我还是那句话:GEO 不是什么新东西,它就是 SEO 的变种,核心没变——你告诉爬虫你是谁、你家有什么、哪条路好走,它就按这个来。变的只是爬虫背后是排名算法还是大模型,路还是那条路。

踩坑提醒:

别一上来就搞什么“GEO 专用结构化”,先把老站那套 robots.txt、sitemap、内链、死链清理做一遍。我这次就是把旧 sitemap 当信源索引使,效果比新写一堆 schema 还稳。

抛个问题:你们手上有老站的吗?把旧 sitemap 和 AI 爬虫日志拉出来对一下,看看路径重合度是多少。我这边七成,想看看别人的数。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。

十五年前画的爬虫路径图,今天AI还在照着走,我盯着屏幕愣了半天