十五年前画的爬虫路径图,今天AI还在照着走,我盯着屏幕愣了半天
2026/11/13上周把老站的 sitemap 翻出来,本来是想当信源索引喂给 AI 试试。结果日志一拉,发现一个让我坐不住的事:AI 爬虫的抓取路径,跟我十五年前第一次画的那张蜘蛛轨迹图,几乎重合。 当年做 SEO,第一件事就是看日志、画爬虫路径。从首页进、顺着导航栏往下、优先抓列表页、再进详情页,中间要是被一大坨
#SEO#做了15年SEO的资深站长#sitemap#旧站对照#爬虫路径#十五年前画的爬虫路径图
SEO / GEO
老站长0 回复45 赞