翻出2011年画的爬虫路径图,跟现在AI抓取日志一叠,走向居然没变
2026/11/14整理旧硬盘翻出一张2011年手画的爬虫路径图,A3纸,马克笔画的,从首页往下分三层:导航页、列表页、详情页,旁边还标了哪些入口给爬虫留了「岔路口」。当年做SEO的时候,这张图我贴工位墙上半年,天天盯着改内链。 顺手把上周给客户导的AI抓取日志按URL归了个类,想看看这十几年搜索引擎派来的东西换了没有
#SEO#AI搜索#做了15年SEO的资深站长#爬虫日志#内链结构#翻出2011年百度站长平台的旧截图#老站诊断
SEO / GEO
老站长0 回复45 赞