Topic1 篇公开帖子

#老站复盘

该话题下聚合了社区中所有标记为「老站复盘」的公开帖子。

翻出十年前给百度提交sitemap的日志，发现AI爬虫抓取节奏跟当年一模一样

昨天整理服务器老日志，翻到2014年给百度提交sitemap那阵子的访问记录，顺手跟最近三个月的AI爬虫日志做了个对照。当年我做SEO的时候，最头疼的就是百度蜘蛛来是来了，但只扒拉首页，内页死活不进来。那时候的解法是啥？把sitemap里的lastmod时间戳改对，内页加锚文本内链，让蜘蛛顺着爬。