Topic1 篇公开帖子
#爬虫配置
该话题下聚合了社区中所有标记为「爬虫配置」的公开帖子。
当年改robots.txt手抖多打个斜杠，现在GEO的llms.txt我也不敢闭眼写
2026/10/23昨天有个小伙子在群里问我，GEO要不要单独写个llms.txt，说现在不少AI爬虫认这个。我一下子想起2012年那会儿，我给一个企业站改robots.txt，手一抖Disallow: /后面多打了个斜杠，结果整站被百度蜘蛛屏蔽了三天，流量掉得我半夜爬起来看日志。当年我做SEO的时候，这种低级错误吃过
#针对GEO落地实践的案例#SEO#做了15年SEO的资深站长#对照实验#robots.txt#llms.txt#爬虫配置
SEO / GEO0 回复39 赞
