翻出15年前robots.txt的写法,发现AI爬虫吃的还是同一套规矩
前几天整理服务器,翻到一个2010年的老站备份,里面那份robots.txt我看了半天——Disallow: /cgi-bin/、Disallow: /tmp/、Sitemap一行没少。当年为了防百度蜘蛛爬进后台,我还专门加过一条Disallow: /admin/,结果有次手滑写成了Disallow: /admin,把整个站都屏蔽了,流量掉了三天才反应过来。
说这个是因为上周干了个事:把手上一个客户站近半年的访问日志按UA拆开,专门看几个AI爬虫的抓取路径。拆完发现一个挺有意思的现象——它们绕开的目录,跟我当年给百度蜘蛛设的那套规则,重合度非常高。尤其是/admin/、/tmp/、带参数的搜索结果页,AI爬虫基本不碰。但反过来,我当年特意放开的/content/、/article/,它们抓得比百度还勤快,频次差不多是蜘蛛的两三倍。
这让我想起当年一个坑:有段时间站里上了个分页参数?page=2,我没在robots里做处理,结果百度蜘蛛顺着爬了几千个空页面出来,收录里一堆重复标题。现在AI爬虫也一样,参数页照样往里钻,只是它不叫“收录”,叫“引用源”。我那个客户站有篇稿子被AI答案引了,我去翻日志,发现AI爬虫第一次来抓的其实是那篇文章的?utm_source=xxx版本,带了一串参数。
所以我现在给客户做GEO排查,第一件事不是上工具,是先手动看三样东西:robots.txt里有没有把该放的内容误杀、sitemap是不是最新的、重要页面的内链锚文本有没有写清楚。这些全是当年SEO的基本功,换了个名字而已。
有个细节值得记一笔:AI爬虫对noindex的响应比百度蜘蛛更“听话”,我测过一个页面,加了noindex之后大概两周,AI答案里就不再引它了,百度那边反而拖了一个多月才彻底清掉。这说明什么?说明GEO的核心还是让机器读懂你、愿意引你,跟当年让蜘蛛愿意收你是一码事。
抛个具体问题:你们有没有人拆过自己站的日志,AI爬虫抓得最多的是哪类页面?是文章详情页还是列表页?我这边样本还太少,想凑几个站对比一下抓取偏好。
