Topic1 篇公开帖子

#当年给搜索引擎交白名单

该话题下聚合了社区中所有标记为「当年给搜索引擎交白名单」的公开帖子。

当年给搜索引擎交白名单，如今给AI爬虫留门槛，我翻出旧配置一看全对上了

这两天翻服务器日志，想看看那几个AI爬虫到底来没来、来了抓什么。翻着翻着就把零几年给搜索引擎做收录时的那套配置翻出来了，一对照，嘿，当年趟过的坑，现在换了个名字又回来了。先说最直接的：robots.txt。当年我做SEO的时候，第一件事就是上去看看有没有把百度蜘蛛给挡了，那时候多少站长一上来就 D