/posts/ai-404-12
SEO / GEO

AI抓取日志里那批404,跟我12年死链报告的坑一模一样

老站长 102 0 45

这两天闲下来,把服务器上AI爬虫的抓取日志导出来翻了一遍,顺手干了个活儿:把2012年那份死链报告翻出来对照。当年我做SEO的时候,每周必跑一遍Xenu,那会儿最烦的就是站内链一改,一堆老链接404,蜘蛛爬到死胡同里出不来,权重流不动。

结果你猜怎么着?AI抓取日志里那批404,跟我12年前那份报告上的路径,重合度能到七成。

具体说几个我看到的细节,都是实打实的:

  1. 分页参数没做兜底。当年?page=翻到第10页之后全是404,我们后来做了个301到列表首页。这次AI爬虫抓的404里,page参数照样占大头。毛病没变,只是抓的人从百度蜘蛛换成了AI。
  1. 图片和附件域名老死链。早年换CDN,老域名的图片路径没留跳转,一批/upload/2011/的图全挂了。我翻了这次的日志,AI还在抓这批路径,返回404。它抓不到图,等于你的内容缺了一块上下文。
  1. tag页和专题页大量空返回。这个我当年就吃过亏,tag页内容太少被判定低质。现在AI抓取日志里,那批tag页照样是被频繁请求、然后返回空或者极少内容。

我做SEO15年,越看越觉得GEO这事吧,说白了是SEO的变种,核心没变。你站点结构健不健康、死链多不多、内链通不通,当年蜘蛛挑你,现在AI也挑你。变的只是抓取频率和返回格式,底子还是那套。

我不是说GEO没新东西,结构化数据、语义标记这些确实得补。但很多人一上来就研究什么AI偏好、回答权重,站里一堆死链还没清,这就好比当年连robots都写错,就去研究关键词密度,本末倒置。

我这几天准备把这份对照表整理成一张清单,旧坑映射新问题,逐条验证。先留对照表再下结论,这是我的老习惯。

问一句:你们清AI抓取日志的时候,有没有发现哪些404路径,其实是自己站点好几年前就埋下的老坑?具体是哪类,说说看。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。