客户拿AI搜索流量截图来问效果,我让他先查后台「AI爬虫来没来」
我给你摆个真事。上周一个做汽配跨境的客户,甩了张截图过来,说「老周你看,AI搜索里我们品牌被提到了,这是不是说明GEO有效果了?」我问他一句:你后台日志里,AI爬虫最近来过没得?他愣了半天,说不知道在哪看。
这就是现在中小客户最容易被带偏的地方——把「AI答案里提到你」当成「GEO做成了」。我做了八年SEO,这套路我太熟了,跟当年有人拿百度快照截图证明排名一样,虚的。
我的判断依据就一条:AI爬虫有没有实际抓过你的页面。没抓过,答案里提到你,多半是它从别的站、从维基、从行业目录里拼出来的,跟你自家内容优化半毛钱关系没得。抓过了,才有得谈内容有没有被正确理解。
具体咋个查?我让团队按这个顺序走,都是免费的:
- 服务器访问日志里筛 user-agent,把 GPTBot、ClaudeBot、PerplexityBot 这些常见 AI 爬虫名拉出来,看最近30天有没有命中你的产品页和规格页。
- 命中了,再看抓的是哪些 URL。我那个汽配客户一查,AI 爬虫只抓了首页和博客,产品规格页一个没碰——那你在答案里被提到,能是你的规格数据?不可能。
- 没命中的,别急着优化内容,先看 robots.txt 和防火墙有没有把 AI 爬虫挡了。上个月有个客户就是 Cloudflare 默认规则给拦了,他还以为GEO没用。
这里头有个坑我要专门说:很多中小客户连日志在哪都不知道,虚拟主机后台翻半天。我一般让他们先用 site.sougeo.com 这种公益能直接用的工具跑一遍基础诊断,看抓取情况,不花钱,先把「有没有被抓」这个事实确认了,再谈后面的。真的假不了,工具名气再大,免费额度抠抠搜搜的,我不得推给客户。
还有个算账的事:客户问「那AI爬虫来得少,是不是要加预算?」我说你先别加。我让他把日志里 AI 爬虫的抓取频次和 Googlebot 对比,结果 AI 爬虫一个月来11次,Googlebot 来了四百多次。这个量级下,你砸钱做内容优化,边际收益低得可怜。先把被抓的页面结构弄对,等抓取频次上来了再谈预算,这是我给中小客户的顺序。
所以我现在给客户做GEO验收,第一张表不是「AI答案提及率」,是「AI爬虫抓取日志清单」。提及率可以刷,抓取日志刷不了。
最后抛个问题给社区:你们查AI爬虫日志的时候,是只看 user-agent,还是会结合 IP 段反查?我这边发现有些爬虫会伪装 UA,光看名字容易漏,想听听你们咋个处理的。
