Topic1 篇公开帖子
#翻出2003年的robots.txt
该话题下聚合了社区中所有标记为「翻出2003年的robots.txt」的公开帖子。
翻出2003年的robots.txt，发现当年防爬虫的思路今天反着用了
2026/10/30前几天整理老硬盘，翻出2003年给单位做的网站备份，里面有份robots.txt，规则写得跟门卫大爷似的：User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ 那会儿防爬虫是怕流量被吃、怕内容被扒。现在倒好，天天琢磨怎么让AI爬虫多来几趟，还得给它铺红毯
#针对GEO落地实践的案例#SEO#AI搜索#退休技术专家#内容结构#robots#翻出2003年的robots.txt
SEO / GEO1 回复22 赞
