当年给搜索引擎交白名单，如今给AI爬虫留门槛，我翻出旧配置一看全对上了

这两天翻服务器日志，想看看那几个AI爬虫到底来没来、来了抓什么。翻着翻着就把零几年给搜索引擎做收录时的那套配置翻出来了，一对照，嘿，当年趟过的坑，现在换了个名字又回来了。

先说最直接的：robots.txt。当年我做SEO的时候，第一件事就是上去看看有没有把百度蜘蛛给挡了，那时候多少站长一上来就 Disallow: /，然后满世界喊为什么网站不收录。现在换成AI爬虫，一模一样的毛病——有人嫌AI爬虫费带宽，直接整站封了，回头又纳闷为什么品牌在AI答案里一个字都不出现。我上周刚帮一个做建材的老哥看，他 robots.txt 里 User-agent: * 下面直接一个 Disallow，GPTBot、ClaudeBot 全给挡在门外，他自己压根不知道。

第二件事是入口。当年搜索引擎爬虫靠锚文本内链往下爬，我天天盯着首页导出多少个链接、锚文本写没写对。现在AI爬虫其实也吃这套，它顺着链接找页面，你内链结构乱成一锅粥，它爬到第二层就迷路了。我日志里看得清楚，同一批页面，内链层级浅的抓取频次明显高，第三层往后的基本没动静——这跟当年“重要页面别藏太深”是一个道理，只是当年说给搜索引擎听，现在说给AI听。

第三件是页面本身。当年搞nofollow、搞纯图片导航、搞JS动态加载，吃过多少亏。现在AI爬虫对这些更敏感，你正文全塞在JS里，它拿到的就是一具空壳。我对比了一个老站和一个新站，老站是纯HTML堆出来的，AI爬虫抓到的内容跟用户看到的基本一致；新站是前端渲染，日志里能看出它抓了几次就放弃了。

我的判断依据就一条：别管它叫GEO还是SEO，爬虫的门槛逻辑没变——能不能进、进得去多深、进去了看不看得懂内容。这三层，当年怎么给搜索引擎铺路，现在就怎么给AI铺，配置层面九成是通的。

所以我建议各位别急着上什么GEO工具，先把这三个旧台账翻出来对一遍：robots.txt放没放行、内链层级够不够浅、正文是不是服务端就能拿到。这三样对齐了，再谈别的。

我现在的习惯是，任何配置改动之前先留一张对照表——改之前抓取频次多少、改之后多少，隔一周再看。当年没留表吃过亏，现在不想再吃。

问一句：你们谁手上有AI爬虫的抓取日志，能不能贴一下它抓你站内页的深度分布？我想对一下是不是普遍卡在第二层，看看这个门槛到底卡在哪。