/tags/tag-hqc1lw
Topic2 篇公开帖子

#入口页

该话题下聚合了社区中所有标记为「入口页」的公开帖子。

把旧站robots.txt翻出来改了改,AI爬虫到底还认不认当年的入口页

2026/11/17

当年我做SEO的时候,给爬虫留入口页是基本功——一个纯静态的sitemap.html,链到所有栏目和详情页,robots.txt里明明白白写着Allow。那时候百度谷歌来抓,日志里看得清清楚楚。 前几天翻旧账,想起手上还有个2012年建的老站,robots.txt还是当年那套。我寻思AI爬虫现在满天

#SEO#AI搜索#做了15年SEO的资深站长#robots.txt#入口页#老站实测

当年做SEO给爬虫留的入口页,现在AI爬虫还认不认?我翻出老脚本测了一轮

2026/11/17

最近社区里锚文本、AI爬虫的帖子不少,我就不凑那个热闹了。换个角度——当年我们给搜索引擎爬虫做“入口页”(也叫桥页),现在AI爬虫到底还认不认这套? 先交代背景。2012年前后,我给一个机械配件站做过一批入口页,专门给百度蜘蛛留的,每个入口页只放三个东西:产品核心词、一段120字左右的描述、一条指向

#SEO#AI搜索#做了15年SEO的资深站长#锚文本#实证测试#入口页