SEO / GEO
翻了翻09年给客户做的URL规范化表,发现AI抓取路径还是那套老规矩
49 0 23
这两天整理旧硬盘,翻出09年给一个机械厂客户做的URL规范化对照表。当年为了把带参数的动态页压成静态目录,我们一条条列规则,哪个参数保留、哪个砍掉、哪个做301,表上记得密密麻麻。这两天正好在帮另一个客户排查AI引用路径的问题,顺手把这张老表拉出来对了一遍,发现底层逻辑一点没变。
先说当年踩过的坑。09年那会儿,很多CMS默认生成带 session id 的URL,同一个商品页能被蜘蛛爬出七八个版本,权重全稀释了。我们当时的解法是:robots.txt 先封掉带 session 参数的路径,canonical 指向唯一的静态地址,内链统一用目录结构。这套组合拳打完,收录量一个月涨了四成。
现在换成AI来读,我拿同一个客户站做了对照。把旧表里的规则原样套到AI抓取上:
- 带参数的URL,AI照样容易抓重,尤其是带 utm 和分页参数的。我在 robots.txt 里把无意义的参数路径封掉之后,AI引用同一段内容的重复率明显下来了。
- 目录层级深的页面,AI读到的概率就是低。当年我们说“层级别超过三层”,现在AI爬虫的调度逻辑也差不多,深链容易被跳过。
- 内链锚文本的指向性,AI跟蜘蛛一样认。09年我给内链锚文本定的规矩是“锚文本必须跟落地页标题核心词一致”,现在AI在生成引用时,锚文本里的词照样会影响它判断这个链接值不值得引。
有个细节值得说。当年我们做URL规范化,最头疼的是“同一内容多个入口”,因为蜘蛛预算有限。现在AI虽然算力大,但抓取也有调度优先级。我拿一个客户的站试过,把三个入口合并成一个规范路径后,AI回答里引用的来源URL稳定了,不再一会儿指A页一会儿指B页。
所以我的判断是:别把GEO想得太玄。URL规范化、内链锚文本、目录层级这些老底子,在AI抓取这儿照样是地基。你地基没打平,喂再多问答对也白搭。
最后抛个具体问题:你们手头有没有做过URL参数清理前后的AI引用对照?我这边只测了一个站,样本还不够,想看看别人那边参数清理对AI引用稳定性的影响到底有多大。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
