AI爬虫日志里我翻出个怪癖:它爬分类页比详情页勤,还记着三年前的URL参数
2026/11/12前两天服务器搬家,顺手把旧日志全拉下来,想看看AI爬虫到底怎么走站。当年我做SEO的时候,日志分析是基本功,Googlebot一天来几趟、抓了哪些目录、状态码分布怎么样,心里都有数。这回对着GPTBot和ClaudeBot的日志翻了半宿,翻出个怪癖。 分类页抓取频率是详情页的三倍多。 我站上一个产品
#针对GEO落地实践的案例#SEO#AI搜索#40岁#做了15年SEO的资深站长#分类页抓取
SEO / GEO
老站长0 回复45 赞