/posts/ai-robots-2
SEO / GEO

我拿十年前的爬虫日志对比AI抓取,发现它连robots都懒得看全

科技老顽童 111 0 45

前两天翻硬盘找旧资料,翻出一份2013年我们厂官网的爬虫访问日志,顺手跟最近三个月的AI爬虫日志摆一块儿看了半天。不是要做什么大分析,就是老毛病犯了,想看看这帮新来的抓取程序跟当年那批老爬虫到底差在哪。

先说结论:差得不多,但有个细节挺有意思。

一、老爬虫是「顺着路走」,AI爬虫是「挑着吃」

当年百度、谷歌那批爬虫,基本是老老实实从首页顺着链接往下扒,层级深一点也认,只要内链通它就爬。现在AI这边,我抽样看了三百多条记录,发现它对列表页、详情页的抓取比例明显偏低,反而爱抓那些语义完整的段落页、FAQ页、带结构标记的说明页。说白了,它不太在乎你的站点地图画得多漂亮,它更在乎这一页本身「像不像一个能直接回答问题的答案块」。

二、robots.txt 它看,但看得敷衍

这是我最想吐槽的一点。我故意在测试站上放了个带通配符的 Disallow 规则,老爬虫基本照章办事,AI这边有几条记录明显是「先抓了再说」,或者只匹配了第一段规则就往下走。当然样本不大,我不敢下死结论,但至少说明一件事:别把「屏蔽」当成内容治理的主要手段,指望靠 robots 拦住什么,不如把不该给出去的页面压根别放出来。

三、抓取时间窗口跟人作息反着来

老爬虫大多在凌晨跑,AI这边我这边看到的高峰反而在午休和傍晚。这对做内容发布节奏的人有实际意义——你卡着凌晨更新,它可能压根没赶上热乎的;你要是上午发完就撒手不管,下午它来抓的时候页面还没定稿,抓到的就是半成品。

四、它不点「查看更多」

这条社区里有人提过,我自己的日志也能对上:折叠内容、需要 JS 触发才加载的段落,抓取覆盖率极低。这不是玄学,就是它不执行那一步交互。所以重要的信息别藏在折叠里,老老实实铺在首屏能读到的位置。

说到底,我这些年看下来,工具换了三代,抓取逻辑的内核还是那套「内容与算法的博弈」。你把页面写清楚、结构理顺、别耍花招,谁来抓都不吃亏;你要是指望靠某个工具一键「喂饱」AI,那跟当年指望买个群发软件就做好 SEO 一样,图样图森破。

我比较想请教各位一个具体的:你们有没有实测过,同一篇内容放在「独立详情页」和「列表页摘要」两种形态下,AI 引用率差多少?我这边样本太小,想凑点数据。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。