该话题下聚合了社区中所有标记为「AI抓取日志里那批404」的公开帖子。
上周客户官网上线新版,第二天AI答案里引用的链接点进去全是404。客户急了,问是不是GEO白做了。我把改版前后三天的AI抓取日志拉出来对了一遍,简单说,问题不在GEO,在改版没管住三个地方。 第一个坑:URL 结构改了,没留 301 老版是 /product/xxx,新版改成 /products/x
这两天闲下来,把服务器上AI爬虫的抓取日志导出来翻了一遍,顺手干了个活儿:把2012年那份死链报告翻出来对照。当年我做SEO的时候,每周必跑一遍Xenu,那会儿最烦的就是站内链一改,一堆老链接404,蜘蛛爬到死胡同里出不来,权重流不动。 结果你猜怎么着?AI抓取日志里那批404,跟我12年前那份报告