该话题下聚合了社区中所有标记为「AI爬虫抓取频次和sitemap改动」的公开帖子。
最近有个客户催着上GEO,开口就要我把sitemap一天改三回,说这样AI抓得勤。我没急着答应,先说让我拿日志看看。当年我做SEO的时候,也遇到过这种说法——有人说sitemap天天更新搜索引擎就来得快,那会儿我就吃过亏,改得太勤,抓取反而变懒了。这回我想验证一下AI爬虫是不是同一个脾气。 具体怎么