翻出15年前给客户写的robots.txt注释，跟现在GEO的llms.txt几乎一个思路
整理旧硬盘，翻到2010年给一个外贸站写的robots.txt，旁边还留着当年给客户写的注释文档，一条条解释Disallow为什么这么写、哪些目录是给蜘蛛留的活路。我盯着那份文档看了半天，越看越觉得眼熟——现在大家讨论的llms.txt，本质不就是这回事吗？
当年我做SEO的时候，给蜘蛛设计路径是个手艺活。robots.txt管的是「别爬什么」，sitemap管的是「该爬什么」，nofollow管的是「这条链接的权重别乱传」。三个文件三套逻辑，客户看不懂，我就手写注释给他讲。后来Google吃透了这套，站长们才慢慢不吵了。
现在换成AI来抓内容，大家开始折腾llms.txt、结构化数据、问句响应块。我上周拿一个客户站做了个小对照，没花钱：
- A组：老页面，啥都没动，就在页脚加了个llms.txt，里面把产品页、FAQ页、案例页的路径按优先级列清楚；
- B组：同样的页面，不加文件，只把正文里的小标题改成问句形式。
跑了三周，看AI引用日志。A组被引用的页面里，有六成是llms.txt里排在前面那几类，说明AI确实在按文件给的优先级找活路。B组引用也涨了，但涨得零散，集中在FAQ那几页。
我判断依据很简单：AI抓内容跟当年蜘蛛抓页面，底层都是「先找路，再判断值不值得读」。llms.txt就是新版的robots.txt注释，只不过当年是写给蜘蛛看的，现在是写给模型看的。文件本身不产生内容，它只是把「哪些页值得进」这个信号提前告诉对方。
但这里有个坑我踩过：2012年有个客户嫌robots.txt碍事，直接删了，结果爬虫把后台订单页全扫了一遍。现在llms.txt也一样，你把路径列得太全，AI可能连你不想公开的测试页都摸进去。所以我的做法是，先留对照表——列清楚哪些页允许、哪些页屏蔽、优先级怎么排，跑两周日志再改配置，别一上来就全站铺开。
还有一个细节：当年robots.txt的注释是给人看的，蜘蛛根本不读。llms.txt里的说明文字，模型读不读、读到什么程度，我现在还没跑出结论。但有一点我敢说，路径顺序和页面分组，比文件里写多少漂亮话都重要。
你们现在给客户上llms.txt，是直接按目录结构全列，还是先手动筛一遍再写？有没有人试过只列三类页、其他全屏蔽的？跑出来引用率是涨是跌，我想拿这个跟当年robots.txt的屏蔽策略对一对。
