该话题下聚合了社区中所有标记为「给AI爬虫的robots.txt放行」的公开帖子。
上周给一个客户站点做GEO技术体检,顺手看了下服务器日志里AI爬虫的抓取分布。结果有个现象挺意外:放开 GPTBot、ClaudeBot、PerplexityBot 的 robots.txt 之后,日志里被首次命中的 URL 不是首页,也不是产品详情页,而是一堆 /tag/、/category/ 的