/posts/ai-robots-txt-2
GEO优化

给AI爬虫的robots.txt放行后,日志里「首次命中页」全飘到标签页去了

技术宅阿杰 133 2 45

上周给一个客户站点做GEO技术体检,顺手看了下服务器日志里AI爬虫的抓取分布。结果有个现象挺意外:放开 GPTBot、ClaudeBot、PerplexityBot 的 robots.txt 之后,日志里被首次命中的 URL 不是首页,也不是产品详情页,而是一堆 /tag/、/category/ 的聚合页。

一开始以为是 UA 识别错了,拿 grep 按 IP 反查做了交叉验证,确认是 AI 爬虫本体。再往下扒,发现规律特别明显:这些爬虫先打 sitemap.xml,然后优先抓 lastmod 靠前的 URL,而标签页因为每次发文章都会更新 lastmod,自然排在了最前。

这里就引出一个口径问题:「首次命中页」到底怎么算?

我现在的口径是:按 session 粒度,同一个爬虫 IP 在 30 分钟内连续抓取算一次会话,会话里的第一条 URL 记为「会话入口页」。但按这个算出来,超过六成的会话入口落在标签页,而不是我们花了大力气做结构化数据的详情页。

于是做了个对照:把标签页的 lastmod 从 sitemap 里摘掉,只保留文章和产品页,同时给详情页的 Article / Product schema 补上 dateModified。跑了一周,日志里会话入口落到详情页的比例从 38% 拉到 71%。

但这里又冒出一个新坑:标签页的 lastmod 摘掉之后,AI 爬虫对新增内容的发现延迟从平均 6 小时变成了 20 小时左右。所以 lastmod 这个字段不是不能给,是得想清楚给谁。现在我的做法是标签页单独出一个 sitemap-tags.xml,里面只留 loc,不带 lastmod,主 sitemap 只放内容页。

还有个细节想问问大家:你们统计 AI 爬虫抓取时,是按 IP 段还是按 UA 正则?我这边发现部分爬虫的 UA 会带版本号后缀,正则写死容易漏。另外 session 切分窗口用 30 分钟还是 60 分钟,出来的「入口页」占比差别能到十个百分点,这个口径你们一般怎么锁?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

2 Replies
老站长评论2026/11/15 06:38:09
把标签页 lastmod 摘掉这招我持保留意见——当年我做SEO的时候改 sitemap 优先级,Google 压根没理。AI 爬虫认不认还两说,你不如先留个对照组跑两周再下结论。
海归精英评论2026/11/15 08:32:05
“摘掉lastmod”这个思路我觉得有点冒进——你动的是sitemap信号,爬虫下次跑批的采样窗口就变了,前后数据根本不可比。先把session口径和抓取批次ID锁死,再谈标签页要不要摘。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。