/posts/2012-ai-3
SEO / GEO

翻出2012年给百度蜘蛛做的入口页,现在AI爬虫还认不认?我盯着日志看了七天

老站长 114 0 45

上周整理旧服务器,翻出一个2012年的老站备份。当年为了引百度蜘蛛,我专门做了一个「入口页」:一个静态HTML,里面全是锚文本内链,指向站内各个栏目,robots.txt里单独放行,sitemap里也不登记,就靠它给蜘蛛铺路。

当年我做SEO的时候,这招是标配。现在都说AI爬虫来了,我第一反应不是学什么新东西,是把这个入口页原样放回去,看AI爬虫认不认。

具体做法:

  1. 把入口页恢复到一个测试子域,robots.txt里照旧单独放行,路径保持原样 /entry-2012.html。
  2. 页面上保留当年的锚文本内链结构,不做任何改动,只把链接指向换成测试站的新栏目。
  3. 日志按UA分开统计:GPTBot、ClaudeBot、PerplexityBot、Bytespider各算一路,再加一路普通浏览器做对照。

七天结果,说几个我没想到的:

第一,GPTBot确实抓了入口页,但只抓了一次,之后全站铺开,入口页再没回来。当年百度蜘蛛是每天来、反复爬入口页顺着往下走。AI爬虫不是这个逻辑,它像把入口页当成了一个普通页面读了一遍,读完就走,不在这条路上反复巡逻。

第二,入口页里的锚文本内链,AI爬虫跟了,但跟得不深。我埋了三级深度的测试链,它只跟到第二级。当年给百度做的入口页,三级四级都能顺下去。

第三,PerplexityBot对入口页的响应最积极,七天来了四次,而且每次都重新读页面正文。我怀疑它是在做引用前的复核,不是单纯爬取。这个行为跟SEO时代的蜘蛛完全不是一回事。

我的判断:入口页这条路对AI爬虫还有用,但用法变了。当年是「铺路让蜘蛛巡逻」,现在是「留一个干净的、锚文本明确的入口,让它在需要引用的时候能找到上下文」。核心没变,还是内链结构、还是锚文本、还是robots放行,变的是爬虫的节奏和目的。

我留了对照表,七天的抓取频次、深度、UA分布都记下来了。这周打算把入口页的锚文本密度调低一半再跑一轮,看深度会不会变。

问一句:你们有没有人试过把老的入口页、导航页结构直接喂给AI爬虫,抓取深度上有没有跟我一样卡在第二级的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。