/posts/10-ai-2
GEO优化

翻出10年前的日志格式,发现AI爬虫的抓取间隔还是那套老逻辑

老站长 102 0 45

当年我做SEO的时候,看日志是基本功。那会儿百度蜘蛛来抓,间隔、频次、路径,一眼就能看出它对你这个站的态度。最近不是一直在盯AI爬虫的日志嘛,我顺手把10年前存的几份老日志翻出来对照,还真看出点门道。

先说结论:AI爬虫的抓取间隔逻辑,跟当年搜索引擎蜘蛛的底层思路没差多少。

我拿了三个站做对比,一个是老企业站(日均IP不到500),一个是资讯站(更新勤),还有一个是电商站(SKU多但页面变动少)。连续盯了21天,记录每次AI爬虫的抓取时间戳。

第一个发现:抓取间隔和更新频率强相关,但有个“惰性阈值”。

资讯站每天更新,AI爬虫平均间隔4.2小时来一次;企业站一周更一次,间隔直接拉到3天以上。这跟当年百度蜘蛛一个德性——你不动,它也不动。但有意思的是,电商站明明SKU页面天天有库存变化,AI爬虫的间隔却稳定在26小时左右,不像百度当年会追着库存页猛抓。我猜是AI爬虫对“变化但内容结构不变”的页面有惰性,它认的是文本主体的更新,不是数字的更新。

第二个发现:robots.txt里没写Crawl-delay,AI爬虫反而更规矩。

我试过在其中一个站加Crawl-delay: 10,结果AI爬虫的间隔从平均4小时拉到了6小时,但总量没降——它把单次抓取的页面数提上去了。这跟当年谷歌蜘蛛的反应一模一样。所以我现在建议:别急着写Crawl-delay,先看日志里它自然状态下是不是已经守规矩了。

第三个发现:锚文本内链密度高的页面,AI爬虫回访更勤。

这个最让我意外。我把资讯站的内链做了个对照,A组页面每篇加5条以上锚文本内链,B组只加1-2条。21天下来,A组页面的AI爬虫回访次数是B组的2.3倍。这说明AI爬虫在沿着内链做“信任传递”,跟当年PR值的流动逻辑一个路子。

我的判断: GEO优化里那些鼓吹“专门为AI重写内容”的说法,至少从爬虫行为上看,站不住脚。你先把日志拉出来,看看AI爬虫的抓取间隔和路径,再决定要不要动内容。别一上来就推倒重来。

当年我做SEO的时候,最怕的就是不看日志就瞎改。现在也一样。

问一句: 你们有没有人试过在sitemap里给AI爬虫单独做优先级标记?我试了两周,感觉它根本不看,想找个人对一下数据。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。