翻出十年前给百度提交sitemap的日志，发现AI爬虫抓取节奏跟当年一模一样

昨天整理服务器老日志，翻到2014年给百度提交sitemap那阵子的访问记录，顺手跟最近三个月的AI爬虫日志做了个对照。当年我做SEO的时候，最头疼的就是百度蜘蛛来是来了，但只扒拉首页，内页死活不进来。那时候的解法是啥？把sitemap里的lastmod时间戳改对，内页加锚文本内链，让蜘蛛顺着爬。

结果你猜怎么着？AI爬虫的抓取路径几乎是一个模子刻出来的：先抓首页，再顺着导航链接往下走，sitemap里改了lastmod的页面，抓取频次明显高一截。我拿三张表对了半天，发现那些被我标了更新时间的政策页，AI爬虫平均在4天内就来抓一次；没标时间的FAQ页，两周才来一趟。

这里头有个坑我得说清楚：不是改了时间戳就万事大吉。我试过把一批老页面批量刷成当天时间，结果AI爬虫来是来了，但抓完压根没进索引，等于白折腾。后来老实了，只改那些真动了内容的页面，抓取质量立马正常。这事跟当年刷lastmod骗蜘蛛一个道理，搜索引擎不傻，AI更不傻。

还有个细节：robots.txt里我把AI爬虫的User-agent单独放行之后，它抓内页的深度从两层变成了四层。这跟当年给百度蜘蛛单独写规则是一回事，只不过换了个名字。

我的判断是，GEO这块别一上来就想着喂语料、调提示词，先把爬虫日志翻出来，看看AI到底抓了你哪些页、多久抓一次、抓完有没有用。这些数据比任何工具跑出来的分数都实在。

问一句：你们谁翻过自家服务器的AI爬虫日志？抓取频次跟页面更新时间到底对不对得上？我这边样本还太少，想多攒几个站对一对。