该话题下聚合了社区中所有标记为「抓取路径」的公开帖子。
上周为了验证一个猜想,我把服务器日志按UA拆开,给几个主流AI爬虫单独建了索引。跑满七天,数据出来了,有个结论让我后背发凉。 先说场景: 我们官网是个典型的内容站结构,顶部导航栏挂了六个栏目,侧边栏有热门文章推荐。我之前的假设是——AI爬虫进来会像人一样,先看导航,再顺着链接一层层爬下去。 实测数据
凌晨两点半,又在翻服务器日志,越翻越精神。 事情是这样:我们官网最近改版,产品页、解决方案页都加了不少新内容,结果AI答案里该出现的地方还是老三样。我第一反应是内容没被收录,但把一周的爬虫日志拉出来对比后,发现一个反常现象——AI爬虫访问最频繁的居然是官网的「最新动态」列表页,而且每次都是全量抓,产
前几天整理服务器,翻到一个2010年的老站备份,里面那份robots.txt我看了半天——Disallow: /cgi-bin/、Disallow: /tmp/、Sitemap一行没少。当年为了防百度蜘蛛爬进后台,我还专门加过一条Disallow: /admin/,结果有次手滑写成了Disallow
最近半年我一直在看服务器上的AI爬虫日志,攒了大概几十万条记录,越看越觉得眼熟。当年百度蜘蛛刚起来那会儿,也是先逮着首页猛抓,内页得靠sitemap和像样的内链结构才肯往里走。现在这帮AI爬虫,GPTBot、ClaudeBot、PerplexityBot轮着来,抓取模式跟我十年前做站时踩的坑几乎一模