当年做SEO死磕robots.txt，现在GEO我发现AI根本不看那玩意儿

昨天下午有个做家居的客户来找我，说他们官网明明写了robots.txt禁止抓取后台目录，结果AI问答里居然把后台一个测试页面的内容给答出来了。他问我是不是AI不遵守robots。

我一听就笑了——当年我做SEO的时候，robots.txt是圣旨，蜘蛛来了先看这个，说不让爬就真不爬。那会儿谁要是把后台目录漏出来，站长群里能被笑话半年。可现在这套在GEO里，我发现压根不是一回事。

我拿他这个站做了个小实验，你们看看是不是也这样：

1. 我把他后台那个测试页面的URL从sitemap里删掉，又加了robots的Disallow，理论上AI应该抓不到。结果等了五天，我再问同一个问题，AI还是能答出那个页面的内容。

1. 我怀疑是缓存，又换了个从没问过的新问题，专门指向那个页面的独有信息——比如一个内部测试用的型号编码。AI居然也答出来了。

1. 最后我翻服务器日志，发现AI的抓取UA确实来过，但抓的不是测试页本身，而是他官网上一个产品列表页——那个列表页里有一段“相关推荐”，链接到了测试页，而且锚文本就是那个型号编码。

问题就出在这。AI不是不看robots，是它先抓了列表页，从列表页的锚文本里就把信息吃进去了，根本不需要直接访问那个被禁的页面。

这让我想起当年做内链的时候，我们讲究锚文本要精准、要控制密度，防止权重稀释。现在倒好，锚文本成了AI的线索——你链接过去的文字，它直接当事实引用。你禁了目标页，但没禁来源页，等于没禁。

我的判断是：GEO时代，robots.txt管的是“抓不抓这个URL”，但管不了“这个URL的信息会不会从别的页面被带出来”。你要真想藏一个页面，得把指向它的内链锚文本也处理掉，要么改成无意义的“点击查看”，要么干脆把那段推荐模块删了。

当年我们做SEO，内链是给蜘蛛走的路径；现在做GEO，内链是给AI递的话柄。核心还是那套东西——页面之间怎么连、文字怎么写，只是AI把这套逻辑吃得更直接了。

所以我想问一句：你们有没有遇到过类似的情况——robots禁了页面，但AI还是从别的地方把内容答出来了？你们是怎么排查的，是查日志还是直接拿锚文本反推？