SEO / GEO
把旧站robots.txt翻出来改了改,AI爬虫到底还认不认当年的入口页
113 0 45
当年我做SEO的时候,给爬虫留入口页是基本功——一个纯静态的sitemap.html,链到所有栏目和详情页,robots.txt里明明白白写着Allow。那时候百度谷歌来抓,日志里看得清清楚楚。
前几天翻旧账,想起手上还有个2012年建的老站,robots.txt还是当年那套。我寻思AI爬虫现在满天飞,它们到底认不认这个老入口?索性做了个对照实验。
实验设置:
老站有两个入口,A是根目录的sitemap.html,B是2015年后加的一个JS渲染的导航页。我在robots.txt里对A保持Allow,对B加了Disallow: /nav-js/。然后挂了三天日志,按UA分了三类:GPTBot、ClaudeBot、Bytespider。
结果有点意思:
- GPTBot和ClaudeBot对A页面的抓取频次是每天40-60次,跟当年百度蜘蛛一个量级,说明老入口页它们照样认。
- 但对B页面,日志里几乎为零——哪怕Disallow只写了路径前缀,它们是真不碰。这跟当年Googlebot的行为一致,说明robots协议在AI爬虫这儿没失效。
- 最意外的是Bytespider,它压根没访问A页面,反而去抓了一堆详情页的API接口。我查了下,它似乎更依赖页面里的结构化数据而不是入口页。
我的判断:
GEO吹得再玄,底子还是那套——爬虫得先找得到你,才谈得上理解你。入口页、robots.txt、内链锚文本,这些老家伙没死,只是换了批爬虫来认。当年我怎么给百度蜘蛛铺路,现在还是怎么给AI爬虫铺路,区别只是多了个结构化数据。
不过Bytespider那个发现让我有点拿不准。我准备再跑一周,把API接口的抓取路径单独拉出来看看。
你们手上有没有老站,robots.txt还是当年那套的?AI爬虫的日志里,入口页的访问频次跟我这个对得上吗?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
