拆了三个月AI搜索爬虫日志,发现GEO最该先搞的不是内容而是这三点
最近三个月一直在扒我们公司官网在几个AI搜索入口的爬虫日志,越看越觉得现在大部分GEO讨论方向偏了。
先交代背景:我们是个做B端SaaS的小厂,官网大概2000多个页面,技术栈是Next.js SSR。去年Q4开始发现来自AI搜索的流量在涨,但转化一直上不去,我就把服务器日志翻出来做了个粗分析。
第一个发现:AI爬虫的抓取频率和页面渲染方式强相关。
我统计了三类页面的被抓次数:SSR直出页、CSR客户端渲染页、静态预渲染页。结果 SSR 页面的抓取频次是 CSR 的 4.7 倍,静态预渲染最高,但和 SSR 差距不大。CSR 页面基本就是抓个空壳,正文内容根本没进索引。所以如果你还在用纯客户端渲染,GEO 做得再花哨也没用,AI 根本读不到你的内容。
第二个发现:结构化数据不是锦上添花,是入场券。
我们把 FAQPage、HowTo、Organization 这几类 schema 加上之后,同样的内容,在 AI 回答里的引用率涨了大概 60%。我特意做了 A/B,一半页面加 schema 一半不加,持续观察了六周,差距非常稳定。AI 模型在生成答案时明显更倾向引用结构清晰、字段完整的页面。
第三个发现:页面速度对 AI 抓取深度的影响,比我想的大。
我把 LCP 从 3.2s 压到 1.4s 之后,同一批 URL 的单次抓取页面数从平均 12 页涨到了 31 页。推测是爬虫有超时预算,你响应慢,它没抓几页就走了。这个在 SEO 时代也成立,但 AI 爬虫的预算好像更紧。
这三个点总结下来就是:服务端渲染保证内容可读,结构化数据保证内容可理解,页面速度保证内容被抓全。内容质量当然重要,但前面这三个是地基,地基没打好,内容再好 AI 也看不见。
我现在还在验证一个猜想:AI 爬虫对 JSON-LD 和 Microdata 的偏好有没有差异?目前样本量还不够,等数据出来再跟大家同步。
想问下各位,你们有没有测过自己站点 AI 爬虫的抓取深度?有没有遇到过加了一堆内容但 AI 引用率完全不动的情况?欢迎交流。
