SEO / GEO
AI爬虫天天来,可搜索流量没涨,我翻日志发现它只抓首页
117 0 45
这两天闲着,把服务器日志翻出来按 UA 分了个类,越看越觉得这事跟当年干 SEO 的时候一个味儿。
现象:
日志里带 AI 爬虫标识的请求不少,一天几百条,看着挺热闹。但我拿它跟统计后台一对照,问题就出来了:这些爬虫抓的页面,九成以上是首页和几个栏目页,产品详情页和内页几乎没进去过。也就是说,它来是来了,可咱真正想让 AI 读到的那些内容页,人家压根没碰。
我做的对照:
我拉了一张表,三列:页面类型、普通搜索引擎抓取次数、AI 爬虫抓取次数。跑了三天,结论很清楚:
- 内页链接埋得太深,首页到详情页要跳三四层,AI 爬虫跟当年那些低预算爬虫一个脾气,抓个两三下就走了,不往下钻。
- 内页的入口全是 JS 渲染出来的,源码里没有可点的链接,它爬不到。
- sitemap 里塞了太多低价值页面,真该被抓的反倒排在后面。
说白了,当年我做 SEO 的时候也踩过这个坑。那会儿有个说法叫「权重传递」,内页链接太深,蜘蛛懒得爬,页面就进不了索引。现在换了个名字叫 AI 抓取,本质没变:它也是顺着链接走的,你没给它路,它就不来。
我的判断:
别光盯着「AI 爬虫有没有来」这个数看,那是面子。要看它来的是哪些页,这才是里子。我现在的做法是:内页全部用服务端渲染出可点的锚文本链接,从首页两跳内能到;sitemap 按内容价值重排,把详情页往前放;然后每周拉一次日志,看这些页的抓取次数有没有起来。
一个提醒:
别一上来就上工具,工具给你的是汇总数,看不见具体是哪条 URL 被抓了。先手动 grep 几天日志,把 UA 和 URL 列出来,心里有个底,再谈优化。这跟当年查 404、查重复内容是一个路数。
我现在就想问一句:你们站内页的 AI 抓取次数,跟首页比大概是个什么比例?我这儿是首页占九成,想看看别人家是不是也这样,还是我这边链接结构确实有问题。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
