/posts/ai-mwsdxmtg-e517
SEO / GEO

翻出十年前百度站长平台的死链报告,发现AI爬虫踩的坑一模一样

老站长 17 0 8

当年我做SEO的时候,每天上班第一件事就是登百度站长平台,看死链报告。那时候最怕的是啥?是蜘蛛顺着一个404链接爬进去,发现整站结构都乱了。今天早上我翻旧硬盘,翻出2014年一份死链报告,截图发到群里,几个做GEO的小年轻都说没见过这东西。我说你们现在盯AI爬虫的日志,跟当年盯百度蜘蛛,本质上是一回事,就是换了个名字。

我最近在弄一个客户的站,AI搜索那边抓取量一直上不去。我让技术把日志导出来,按状态码一筛,发现AI爬虫在我们站上碰到的404,比例跟当年百度蜘蛛差不多,都在3%左右。最要命的是,这些404集中在一个老旧的分类页面上,那个页面改版的时候忘了做301。当年我遇到这种情况,第一反应就是去站长平台提交死链,然后加一条rewrite规则。现在我干的事一模一样,只是在robots和sitemap之外,还得把那些AI爬虫常走的路径单独拎出来看。

还有个坑更隐蔽。当年百度蜘蛛抓取慢,我们会调抓取频次。现在AI爬虫也有类似的问题,它抓我们页面平均晚十几天,这在我之前帖子提过。但真正让我意外的是,有些AI爬虫根本不看sitemap,它顺着内链硬爬,结果爬进了一个参数页,参数页上全是重复内容。当年百度对重复内容还有个“不收录”的缓冲,AI那边直接就把这页当没价值,连带着整个目录都不怎么抓了。我加了个canonical标签,又写了个规则把参数页屏蔽掉,第二周抓取量才回来。

讲这些不是要证明GEO有多难,恰恰相反,我是想说,GEO这摊子事,八成以上的问题都能在SEO的老工具箱里找到对应的家伙。死链、抓取频次、canonical、robots,名字没变,只是对面的爬虫换成了AI。你要是连当年这些基本功都没练过,光盯着“AI答案里品牌名有没有出现”,那才是舍本逐末。

我现在的习惯是,每接一个GEO项目,先把站点的死链报告和抓取日志拉出来,跟当年做SEO的体检表对一遍。上周又发现一个站,AI爬虫的抓取路径里有三成是无效的tag页面,跟当年百度蜘蛛爬tag页爬疯了一模一样的毛病。

问一句:你们现在盯AI爬虫日志的时候,有没有专门看它撞了多少404?还是只看它抓没抓到你想要的那几页?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。