翻出十年前给搜索引擎爬虫写的拒访日志，发现和现在AI爬虫的脾气差不太多

昨天整理旧硬盘，翻到一份2013年给某厂内网搜索引擎写的爬虫访问日志分析。那会儿我们最头疼的是爬虫太勤快，把后台跑批的带宽占满了，IT部门的人天天来拍桌子。后来加了个Crawl-delay，又在robots里封了几个路径，才算消停。

这两天闲着没事，我把这份老日志和手头一个小站的AI爬虫访问记录放在一起对了一下——你别说，虽然隔了十年，爬虫的“脾气”还真有点像。

第一个发现：拒访规则不是写给别人看的，是给自己留后路的

当年我们封掉/admin/，是因为爬虫顺着链接爬进去，把一些临时表单页也抓了，结果索引里出现了一堆带session id的垃圾页。后来学乖了，不光封路径，还得在页面里加rel="nofollow"。现在AI爬虫也一样，你光在robots.txt里写Disallow，它有的根本不认，或者认了但还是要来探一下。我那个小站上个月日志里，被Disallow的路径还是有几十次访问，UA换着花样来。

第二个发现：爬虫的“耐心”跟内容更新频率挂钩

早年那个搜索引擎，我们观察到一个规律：如果一个频道连续三个月不更新，爬虫的访问间隔会从一天一次慢慢拉长到一周一次。当时车间老师傅打了个比方，说这跟供销科催货一样，你老不发货，人家就不来问了。

现在AI爬虫也类似。我盯了一个内容站，sitemap里lastmod改得勤的那段时间，抓取频次明显高；有段时间内容停更，抓取量掉了一半还多。但有意思的是，AI爬虫的“记忆”好像更长，停更两个月后恢复更新，它回来得比十年前那个传统爬虫慢。

第三个发现：结构化数据是张“通行证”，但不是“免死金牌”

2013年我们做站内搜索，最怕的是页面结构乱，正文和导航混在一起。后来上了Schema.org的标记，索引质量好了不少。现在给AI搜索做内容，结构化标记也管用，FAQ、HowTo这些标记确实能帮AI把答案抠出来。但我实测过一个页面，标记做得规规矩矩，AI回答里还是把参数单位搞错了——它引的是另一篇没标记但看着更“像”答案的通稿。所以我的判断是：结构化数据能提高被正确引用的概率，但别指望它解决内容本身的准确性问题。

第四个发现：日志里的“回头客”最值得琢磨

当年我们分析日志，最看重的不是总抓取量，而是同一个URL被反复抓的次数。反复抓说明爬虫觉得这页重要，或者这页变化快。现在AI爬虫也一样，我站上被反复抓的页面，往往也是后来在AI答案里被引用最多的。这个信号比什么“收录量”实在多了。

说句实在话，工具换了一茬又一茬，从当年的站内搜索到现在的AI搜索，底层还是那套东西：你给爬虫方便，它给你面子；你糊弄它，它迟早给你颜色看。GEO说到底还是内容跟算法在掰手腕，工具只是递个梯子。

最后抛个问题：你们有没有盯过自己站点的AI爬虫日志，有没有发现哪个路径被反复抓、但内容其实没啥价值的？我这边就有一个栏目页，抓得挺勤，点进去一看全是空壳，一直没想明白它图啥。