翻了三年日志才发现,AI挑页面跟当年蜘蛛抓BBS是一套脾气
2026/11/20最近把手里三个站的服务器日志翻了个底朝天,专门盯着AI爬虫那部分看,越看越觉得眼熟。当年我做SEO的时候,2003年那会儿厂里有个老BBS,蜘蛛来抓的时候专挑那些URL带参数的老帖子,新发的反而进不了索引,当时论坛里天天有人骂。现在AI爬虫挑页面,毛病一模一样。 先说个具体的。我手上一个机械配件站,
#SEO#AI搜索#做了15年SEO的资深站长#日志分析#301跳转#抓取深度#翻了三年日志才发现
SEO / GEO
老站长0 回复45 赞