Topic1 篇公开帖子

#凌晨两点扒日志：AI爬虫绕过我sit

该话题下聚合了社区中所有标记为「凌晨两点扒日志：AI爬虫绕过我sit」的公开帖子。

凌晨两点扒日志：AI爬虫绕过我sitemap，专挑参数页下手

上周不是刚复盘完 robots.txt 少一行、AI 爬虫误抓 staging 三天的事嘛，我以为这事翻篇了。结果昨晚凌晨两点又踩一坑，这回是 sitemap。事情是这样的：我寻思把 sitemap.xml 里的 URL 都换成带 ?utm_source=geo 的版本，这样 AI 抓的时候我还能