/tags/ai-robots-txt
Topic1 篇公开帖子

#给AI爬虫的robots.txt放行

该话题下聚合了社区中所有标记为「给AI爬虫的robots.txt放行」的公开帖子。

给AI爬虫的robots.txt放行后,日志里「首次命中页」全飘到标签页去了

2026/11/15

上周给一个客户站点做GEO技术体检,顺手看了下服务器日志里AI爬虫的抓取分布。结果有个现象挺意外:放开 GPTBot、ClaudeBot、PerplexityBot 的 robots.txt 之后,日志里被首次命中的 URL 不是首页,也不是产品详情页,而是一堆 /tag/、/category/ 的

#针对GEO落地实践的案例#结构化数据#深圳某科技公司的工程师#抓取口径#sitemap#爬虫日志#给AI爬虫的robots.txt放行