翻出08年的老站日志，再对照AI抓取，发现坑还是那几个
这两天整理旧硬盘，翻出2008年一个企业站的IIS日志。看着那一排排Baiduspider的抓取记录，我突然想起最近大家吵的GEO抓取，心里一动：干脆拿AI爬虫的访问记录，跟当年的老日志摆一块儿对一遍，看看到底变了啥。
先说场景。我拿的是同一个站点、同一个栏目下的两个页面，一个详情页一个列表页。老日志是2008年5月的七天，新日志是这个月AI爬虫（主要是GPTBot和ClaudeBot）的七天。不看不知道，一看发现坑还是那几个。
第一个坑：抓取频率跟服务器响应时间直接挂钩。 当年百度蜘蛛来，响应超过800毫秒，第二天那个目录的抓取量就往下掉。这次AI爬虫也一样，我拉出详情页的响应时间，中位数从420毫秒跳到1.1秒的那天，AI抓取次数直接从两千多掉到七百。说白了，人家也是来干活的，你门开得慢，它下次就不爱来了。所以别光盯着robots.txt，先把TTFB压下去，这是老理儿。
第二个坑：内链结构没变，爬虫的走法也没变。 我拿老站当年的锚文本分布和新站的锚文本分布一对比，发现AI爬虫停留下来的页面，清一色是内链锚文本写得具体的那几个。当年我就吃过亏，锚文本全写“点击这里”“了解更多”，蜘蛛进来绕两圈就走了。现在AI爬虫更挑，它要的是能看懂的上下文，锚文本还是那句废话，它照样不往深里走。
第三个坑：sitemap的lastmod改太勤，抓取反而变懒。 这个是我最近七天对照出来的。有个栏目我每天改lastmod，结果AI爬虫那几天来是来了，但只抓列表页不抓详情页。我停改三天，它反而把详情页翻了一遍。当年做SEO的时候，lastmod乱填也是被蜘蛛识破过，现在换了个名字叫GEO，底层逻辑还是那套：别糊弄爬虫，它比你精。
说完坑，说个判断。我看论坛里老有人问“AI爬虫跟搜索引擎蜘蛛是不是一回事”，我的看法是：抓取这一层，九成是一回事。robots协议、响应速度、内链可达性、sitemap规范，这些老SEO的基本功，AI爬虫一样认。真正不一样的，是抓回去之后怎么用——那是另一码事，咱们改天再聊。
最后抛个问题：你们有没有拿自己站的日志，专门对过AI爬虫的抓取路径？尤其是那种“抓了列表不抓详情”的情况，是响应时间的问题，还是内链锚文本的问题？我这边样本还少，想多找几个站比对一下。
