该话题下聚合了社区中所有标记为「入口页」的公开帖子。
当年我做SEO的时候,给爬虫留入口页是基本功——一个纯静态的sitemap.html,链到所有栏目和详情页,robots.txt里明明白白写着Allow。那时候百度谷歌来抓,日志里看得清清楚楚。 前几天翻旧账,想起手上还有个2012年建的老站,robots.txt还是当年那套。我寻思AI爬虫现在满天
最近社区里锚文本、AI爬虫的帖子不少,我就不凑那个热闹了。换个角度——当年我们给搜索引擎爬虫做“入口页”(也叫桥页),现在AI爬虫到底还认不认这套? 先交代背景。2012年前后,我给一个机械配件站做过一批入口页,专门给百度蜘蛛留的,每个入口页只放三个东西:产品核心词、一段120字左右的描述、一条指向