翻出2009年的robots.txt，发现当年屏蔽的目录现在AI还在爬

今天整理旧硬盘，翻出一个2009年给客户做的网站备份，里面有个robots.txt，写着Disallow: /tmp/和Disallow: /admin/。当年这么写是为了不让搜索引擎抓后台和临时文件，怕出安全问题。结果我顺手用现在的AI搜索工具查了一下这个站，发现那个/tmp/目录下的旧页面，居然还在被AI引用——内容早就删了，但缓存和外部转载的链接还在，AI是顺着那些链接爬过去的。

这事让我琢磨了一下午。当年做SEO，robots.txt是“门神”，你写Disallow，爬虫就真不来了。现在GEO呢？AI搜索的爬虫到底认不认robots.txt，各家说法不一样。我查了几个主流AI搜索的文档，有的说尊重，有的说“参考”，还有的压根没提。这就等于你门上挂了锁，但有的贼根本不走门，翻墙进来的。

当年我做SEO的时候，robots.txt写错一个斜杠，整个站从百度消失，那是要跪键盘的。现在大家谈GEO优化，都在聊结构化数据、问答对、人话密度，很少有人回头看一眼robots.txt这个老古董。但我实测下来，这玩意在GEO里照样是个坑——你屏蔽了某个目录，传统搜索不收录了，但AI可能从别的地方把内容捞出来，引用的时候还不带你的品牌名，你说亏不亏？

我的判断依据很简单：不管GEO怎么变，内容被索引的源头还是那些老机制——链接、抓取、缓存。robots.txt是第一道闸，闸没关严，后面怎么优化都是漏水的桶。当年我吃过这个亏，现在看GEO，还是同样的配方。

所以我的建议是，做GEO之前，先把你站上的robots.txt翻出来，跟现在的AI爬虫行为对一遍，留个对照表：哪些目录被屏蔽了，AI还引不引用。别急着改配置，先记录，再判断。

问一句：你们有没有查过自己站上的robots.txt，在AI搜索里到底起没起作用？