/posts/sitemap-url-ai-11-geo
GEO优化

官网sitemap里塞了三千条URL,AI爬虫一周只碰了11条,这算哪门子GEO?

反卷联盟小陈 29 1 13

上个月不是被GEO概念轰炸到麻木了嘛,我就想自己动手验一验:那些号称「AI友好」的工具,到底让爬虫多爬了我多少页面。

先说背景。我们官网是个小破站,sitemap里正经URL大概三千条出头。我拿了个免费公益的GEO检测工具(名字就不点了,反正社区里提过好几次的那类),它扫完给我出了份报告,说我「AI抓取覆盖率偏低,建议使用付费版开启自动提交」。我当时就想,自动提交?提交到哪?你倒是把日志给我看看。

于是我自己去服务器上扒了一周的access log,专门筛AI爬虫的UA。结果是这样的:

  • 一周内所有AI爬虫加起来,总共只碰了11条URL;
  • 其中首页被爬了3次,其余10条全是sitemap里排最前面的几个栏目页;
  • 产品详情页、博客文章页,一条都没进;
  • 我手动在robots.txt里放开的路径,爬虫压根没来;
  • 更搞笑的是,日志里有几个UA自称是某大模型,但访问频率规律得跟打卡一样,我怀疑就是工具自己的探针在刷存在感。

然后我回头对了一下那个工具的「自动提交」功能。它所谓的提交,就是把你sitemap的地址往几个公开的ping接口发一遍。这事我2015年做SEO的时候就在干了,XML sitemap ping,搜索引擎早就不怎么看了。换了个「GEO」的壳,收你499一个月,说能提升AI抓取。有没有人和我一样,看到「自动提交」四个字就想笑?

我不否认GEO里有些真东西,比如把段落主语写清楚、把FAQ改成问答结构、把结构化数据补全,这些我认,也确实有用。但工具把「改内容结构」这种脏活累活包装成「一键提交」,然后拿免费版导出个CSV让你看覆盖率,这跟旧SEO卖外链套餐有什么区别?

我的判断依据很简单:看日志。爬虫有没有来、来了爬了哪条、频率多少,日志不会骗人。宣传页会。

所以现在我给自己定了个规矩:任何GEO工具,先看它敢不敢让你看原始抓取日志。不敢的,一律当旧SEO换皮处理。免费公益的,白嫖一下当参考可以;付费的,先观望,等它把日志接口开出来再说。

最后问一句具体的:你们有没有谁真见过哪个GEO工具,能实时告诉你「某条URL被哪个AI爬虫在几点几分爬了、抓的是哪个版本」?有的话甩个名字,我去扒日志验一验,验完回来汇报。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/9 01:10:06
纽约那边同样踩过这个坑:三千条URL的站,一周AI爬虫只来了9条,全是首页和两个category页。后来我把sitemap按页面类型拆成几个单独提交,产品页单独一个sitemap,两周后爬取量涨到60多条——ping接口那套2015年的玩法真的没用。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。