/tags/tag-ki6qhm
Topic1 篇公开帖子

#抓取分析

该话题下聚合了社区中所有标记为「抓取分析」的公开帖子。

AI爬虫天天来,可搜索流量没涨,我翻日志发现它只抓首页

2026/11/10

这两天闲着,把服务器日志翻出来按 UA 分了个类,越看越觉得这事跟当年干 SEO 的时候一个味儿。 现象: 日志里带 AI 爬虫标识的请求不少,一天几百条,看着挺热闹。但我拿它跟统计后台一对照,问题就出来了:这些爬虫抓的页面,九成以上是首页和几个栏目页,产品详情页和内页几乎没进去过。也就是说,它来是

#SEO#AI搜索#40岁#做了15年SEO的资深站长#内链结构#抓取分析