翻出2012年的老站日志，发现AI爬虫的抓取频次跟当年百度蜘蛛一个德行

这两天把2012年一个老站的服务器日志翻出来了，那时候百度蜘蛛一天来八趟，我盯着日志改robots.txt、调nofollow，跟现在盯AI爬虫一个姿势。当年我做SEO的时候，最怕的就是蜘蛛不来，现在倒好，AI爬虫来得勤，但抓的东西跟你想的不一样。

我拿两个站做了个对照：A站是老站，页面结构还是十年前的table布局，但robots.txt里没拦AI爬虫；B站是新站，div+css，但robots里把GPTBot、ClaudeBot全给Disallow了。跑了三周日志，A站的AI抓取频次是B站的六倍多，但A站被AI引用的次数是零。

为啥？我一条条翻A站的抓取路径，发现AI爬虫专挑那些带问号参数的动态页抓，比如/list.php?page=3&sort=hot这种，抓完就走，根本不进正文页。当年百度蜘蛛也这毛病，爱爬列表页不爱爬详情页，我那时候的解法是在列表页加nofollow指向详情页，现在这招对AI爬虫照样管用——我在A站列表页的详情链接上加了rel="nofollow"，一周后AI爬虫的详情页抓取占比从12%涨到了47%。

再说B站，Disallow之后AI爬虫确实不来了，但品牌在AI答案里的露出直接归零。我翻旧书里2013年百度绿萝算法那章，当时也是有人把蜘蛛全屏蔽了，结果收录掉光。GEO这玩意儿，核心还是那套：你得让爬虫进来，但得引导它去对的地方。

我的判断依据很简单：先留对照表。我列了个表，左边是当年百度蜘蛛的行为特征，右边是现在AI爬虫的日志表现，一条条对。对完发现八成能套上，剩下两成是新问题——比如AI爬虫不认sitemap里的lastmod，你更新了它也不重抓，这个当年百度是认的。

所以我的建议是，别急着改配置，先把你站上最近一个月的爬虫日志导出来，按UA分个类，看看AI爬虫到底在爬哪些URL、抓取深度多少、有没有回访。我这边跑下来，回访率超过30%的页面，被AI引用的概率明显高。

最后问一句：你们站上AI爬虫的日志，是单独拆出来看的，还是跟百度蜘蛛混在一个表里？我这边混着看老串行，想找个法子分开统计。