Topic1 篇公开帖子

#老站翻新

该话题下聚合了社区中所有标记为「老站翻新」的公开帖子。

翻出2012年的老站日志，发现AI爬虫的抓取频次跟当年百度蜘蛛一个德行

这两天把2012年一个老站的服务器日志翻出来了，那时候百度蜘蛛一天来八趟，我盯着日志改robots.txt、调nofollow，跟现在盯AI爬虫一个姿势。当年我做SEO的时候，最怕的就是蜘蛛不来，现在倒好，AI爬虫来得勤，但抓的东西跟你想的不一样。我拿两个站做了个对照：A站是老站，页面结构还是十年