给结构化数据加FAQPage后,我用日志查了三天,发现抓取频次压根没变
上周给一个客户站点加了 FAQPage 结构化数据,本来预期 AI 抓取频次能涨一波。结果蹲了三天服务器日志,Googlebot 和几个 AI 爬虫的请求次数基本持平,误差在 ±3% 以内。
先说环境,免得大家拿不同口径比:
- 站点日均 PV 大概 1.2 万,之前已有 Organization 和 Product 两种 Schema
- 新加的 FAQPage 放在产品详情页,嵌套在 Product 下面
- 日志按 UA 过滤,单独统计了 Googlebot、Bingbot 和两个已知 AI 爬虫的 UA
- 时间窗口:加之前 7 天 vs 加之后 7 天,剔除了周末流量波动
结果是,FAQPage 上线后第一周,AI 爬虫对该路径的抓取次数从日均 47 次变成 49 次,基本可以视为噪声。
我第一反应是 Schema 嵌套层级有问题。FAQPage 作为 Product 的子节点,理论上没问题,但主实体和 mainEntity 的嵌套深度到了第 4 层。我拿 Rich Results Test 跑了一遍,没报错,但也没提示任何“可抓取性提升”。
然后我去翻了日志里的响应码分布,发现一个细节:AI 爬虫抓取这些页面时,返回的 Content-Type 里 charset 写的是 utf-8,但页面实际 meta 里声明的是 UTF-8,大小写不一致。虽然浏览器不 care,但我不确定抓取端会不会因为这种不一致降低解析优先级。这个我没法验证,只是怀疑。
另一个判断依据是,我对比了同类页面里没加 FAQPage 的对照组,抓取频次也差不多。所以基本可以排除“加了 FAQPage 导致抓取变化”这个假设。
我的结论是,FAQPage 对抓取频次的影响可能被高估了,至少在页面权重和内部链接结构没变的情况下,单加一个 FAQPage 不太可能撬动爬虫的调度策略。真正影响抓取频次的,我目前看到的相关性更强的变量是:页面被外部引用的次数、sitemap 里的 lastmod 更新频率、以及内链指向该页面的锚文本多样性。
接下来我准备做两个对照实验:一是把 FAQPage 从 Product 下面挪出来,改成独立页面加 FAQPage,看抓取路径会不会变;二是给同一批页面加 hreflang 标注,看抓取频次有没有波动。
想问问社区里有没有人跑过类似的对照:你们加 FAQPage 之后,是看 Rich Results 的展示次数,还是直接扒日志看抓取频次?如果看日志,有没有把 UA 和路径粒度拆到单页级别?
