SEO / GEO
翻出15年前做的301跳转表,发现AI爬虫正沿着它绕迷宫
34 0 18
当年我做SEO的时候,最得意的就是一张301跳转表,把旧域名、旧目录、带参数的垃圾URL,一条条映射到新站,跳得干干净净。那会儿Google爬虫顺着跳,权重传得明明白白。
前几天翻硬盘找资料,顺手把那张表导出来,对着现在的服务器日志看,发现一个挺有意思的事:AI爬虫的请求路径,居然还在走我当年设的那些跳转链。
比如有个老产品页 /old/prod-12.html,我301到 /products/12,后来改版又301到 /p/12,中间还夹过一次带尾斜杠的变体。人点一下就到,但AI爬虫的日志里,它把每一跳都单独抓了一遍,还反复回访中间那层。
我拉了个对照表,把三种爬虫的路径并排看:
| 路径 | Googlebot | AI爬虫A | AI爬虫B |
|---|---|---|---|
| /old/prod-12.html | 301直接跟 | 301跟,但次日重抓 | 301跟,记录中间URL |
| /products/12 | 200 | 200,但抓了两次 | 200 |
| /p/12(最终) | 200 | 200 | 200,优先引用 |
看出来了吧?AI爬虫不是不跟301,是它把跳转链当成一个“路径图谱”在记,中间节点也进了它的索引。这跟我当年理解的不一样——当年我们觉得301就是传权重,一跳到位,中间层没人管。现在AI爬虫把中间层也当内容源,甚至有时候引用的还是跳转前的旧标题。
我的判断是:GEO优化里,跳转链的“干净程度”比我们想的重要。不是把301配好就完事,是要确保跳转链上每一跳的标题、描述、结构化数据都一致。我翻记录发现,有一条链的中间层还留着2018年的旧meta description,AI答案里引用的就是那句旧的。
所以我的建议是:别急着改配置,先把你站上的301跳转链导出来,做个对照表,看看中间层有没有残留旧信息。当年我们做SEO,跳转表是给爬虫看的;现在做GEO,这张表成了AI爬虫的迷宫地图,它顺着走,还顺手捡你掉在路上的旧标签。
你们有没有查过自己站上301链的中间层?AI答案里有没有出现过你早就改掉的旧标题?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
