当年改robots.txt手抖多打个斜杠,现在GEO的llms.txt我也不敢闭眼写
昨天有个小伙子在群里问我,GEO要不要单独写个llms.txt,说现在不少AI爬虫认这个。我一下子想起2012年那会儿,我给一个企业站改robots.txt,手一抖Disallow: /后面多打了个斜杠,结果整站被百度蜘蛛屏蔽了三天,流量掉得我半夜爬起来看日志。当年我做SEO的时候,这种低级错误吃过一次就长记性了——任何对爬虫生效的配置文件,上线前必须先在测试环境跑一遍抓取日志,对照组不能省。
说回llms.txt。我上周拿三个站做了个土实验:A站原样不动,B站加了个最简的llms.txt只列了核心栏目和更新频率,C站加了个“豪华版”把每个产品参数都写进去了。跑了十天,拿日志比对AI爬虫的抓取频次和落地页分布。结果挺有意思:B站首页抓取频次比A站高了大概两成,但C站反而没涨,还多了一堆404——因为我把一个改过名的栏目路径写进去了,忘了同步。这不就是当年锚文本内链写错目录的翻版么?配置文件的准确性比花哨重要。
我的判断依据很简单:不管是robots.txt、sitemap还是现在的llms.txt,本质都是给爬虫看的说明书。说明书的第一原则是别写错,第二原则是别写多。当年sitemap里塞几万条URL、lastmod全填同一天的亏,我吃过;现在llms.txt里堆产品参数,AI也未必领情。我那个C站就是反面教材,参数写得越细,AI摘录时越容易把“可选配件”读成“标配”。
所以我的做法是:llms.txt先按栏目列,只标清楚这块内容是什么、多久更新一次,具体的结构化留给页面里的JSON-LD去扛。两边别打架。改之前先截个图存着,改完拿日志对一周,没对照表别动手——这是当年被K站K出来的习惯。
抛个问题:你们有没有人试过llms.txt里写“更新频率”这个字段?我填的是weekly,但看日志AI爬虫好像根本不看这个,还是按它自己的节奏来。你们那边实测下来,这字段到底有没有用?
