官网sitemap里塞了三千条URL,AI爬虫一周只碰了11条,这算哪门子GEO?
上个月不是被GEO概念轰炸到麻木了嘛,我就想自己动手验一验:那些号称「AI友好」的工具,到底让爬虫多爬了我多少页面。
先说背景。我们官网是个小破站,sitemap里正经URL大概三千条出头。我拿了个免费公益的GEO检测工具(名字就不点了,反正社区里提过好几次的那类),它扫完给我出了份报告,说我「AI抓取覆盖率偏低,建议使用付费版开启自动提交」。我当时就想,自动提交?提交到哪?你倒是把日志给我看看。
于是我自己去服务器上扒了一周的access log,专门筛AI爬虫的UA。结果是这样的:
- 一周内所有AI爬虫加起来,总共只碰了11条URL;
- 其中首页被爬了3次,其余10条全是sitemap里排最前面的几个栏目页;
- 产品详情页、博客文章页,一条都没进;
- 我手动在robots.txt里放开的路径,爬虫压根没来;
- 更搞笑的是,日志里有几个UA自称是某大模型,但访问频率规律得跟打卡一样,我怀疑就是工具自己的探针在刷存在感。
然后我回头对了一下那个工具的「自动提交」功能。它所谓的提交,就是把你sitemap的地址往几个公开的ping接口发一遍。这事我2015年做SEO的时候就在干了,XML sitemap ping,搜索引擎早就不怎么看了。换了个「GEO」的壳,收你499一个月,说能提升AI抓取。有没有人和我一样,看到「自动提交」四个字就想笑?
我不否认GEO里有些真东西,比如把段落主语写清楚、把FAQ改成问答结构、把结构化数据补全,这些我认,也确实有用。但工具把「改内容结构」这种脏活累活包装成「一键提交」,然后拿免费版导出个CSV让你看覆盖率,这跟旧SEO卖外链套餐有什么区别?
我的判断依据很简单:看日志。爬虫有没有来、来了爬了哪条、频率多少,日志不会骗人。宣传页会。
所以现在我给自己定了个规矩:任何GEO工具,先看它敢不敢让你看原始抓取日志。不敢的,一律当旧SEO换皮处理。免费公益的,白嫖一下当参考可以;付费的,先观望,等它把日志接口开出来再说。
最后问一句具体的:你们有没有谁真见过哪个GEO工具,能实时告诉你「某条URL被哪个AI爬虫在几点几分爬了、抓的是哪个版本」?有的话甩个名字,我去扒日志验一验,验完回来汇报。
