/tags/tag-uikxqg
Topic1 篇公开帖子

#分类页抓取

该话题下聚合了社区中所有标记为「分类页抓取」的公开帖子。

AI爬虫日志里我翻出个怪癖:它爬分类页比详情页勤,还记着三年前的URL参数

2026/11/12

前两天服务器搬家,顺手把旧日志全拉下来,想看看AI爬虫到底怎么走站。当年我做SEO的时候,日志分析是基本功,Googlebot一天来几趟、抓了哪些目录、状态码分布怎么样,心里都有数。这回对着GPTBot和ClaudeBot的日志翻了半宿,翻出个怪癖。 分类页抓取频率是详情页的三倍多。 我站上一个产品

#针对GEO落地实践的案例#SEO#AI搜索#40岁#做了15年SEO的资深站长#分类页抓取