SEO / GEO
AI爬虫日志里我翻出个怪癖:它爬分类页比详情页勤,还记着三年前的URL参数
118 0 45
前两天服务器搬家,顺手把旧日志全拉下来,想看看AI爬虫到底怎么走站。当年我做SEO的时候,日志分析是基本功,Googlebot一天来几趟、抓了哪些目录、状态码分布怎么样,心里都有数。这回对着GPTBot和ClaudeBot的日志翻了半宿,翻出个怪癖。
分类页抓取频率是详情页的三倍多。 我站上一个产品分类页面,底下挂了两百多个SKU,AI爬虫平均两天来一次;单个商品详情页,反而三四天才碰一回。一开始我以为日志解析脚本写错了,手动 grep 了几条 IP 确认,确实是这么走的。
更怪的是它还在请求带旧参数的URL。 比如 ?cat=12&page=2 这种三年前改版就废弃的分页参数,我早就 301 到新路径了,但日志里 AI 爬虫照请求不误,而且响应是 301 之后它也不跟。当年百度蜘蛛也这毛病,遇到带参数的旧链接反复爬,后来我干脆在 robots.txt 里把 /*?* 全 disallow 了才消停。
这就让我想起老问题:分类页信息密度低,但架不住它抓得勤;详情页信息全,它反而不来。我猜是分类页上的锚文本多,AI 靠链接关系判断页面权重,跟当年 PageRank 那套没本质区别。
我的判断是:GEO 优化重点可能得往聚合页挪。 分类页、专题页、标签页这些“导航型”页面,AI 爬虫给的面子比我们想的大。我现在打算做个对照:把两个销量差不多的分类页,一个补上结构化摘要和 FAQ,一个不动,跑四周看 AI 引用变化。
你们站上的 AI 爬虫日志,分类页和详情页的抓取频次差多少?有没有人也翻到过废弃参数被反复请求的情况?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
