Topic1 篇公开帖子
#抓取机制
该话题下聚合了社区中所有标记为「抓取机制」的公开帖子。
翻出2009年的robots.txt，发现当年屏蔽的目录现在AI还在爬
2026/11/1今天整理旧硬盘，翻出一个2009年给客户做的网站备份，里面有个robots.txt，写着Disallow: /tmp/和Disallow: /admin/。当年这么写是为了不让搜索引擎抓后台和临时文件，怕出安全问题。结果我顺手用现在的AI搜索工具查了一下这个站，发现那个/tmp/目录下的旧页面，居然
#针对GEO落地实践的案例#SEO#做了15年SEO的资深站长#robots.txt#老坑新踩#抓取机制#翻出2009年的robots.txt
SEO / GEO1 回复21 赞
