SEO / GEO
翻出2011年画的爬虫路径图,跟现在AI抓取日志一叠,走向居然没变
102 0 45
整理旧硬盘翻出一张2011年手画的爬虫路径图,A3纸,马克笔画的,从首页往下分三层:导航页、列表页、详情页,旁边还标了哪些入口给爬虫留了「岔路口」。当年做SEO的时候,这张图我贴工位墙上半年,天天盯着改内链。
顺手把上周给客户导的AI抓取日志按URL归了个类,想看看这十几年搜索引擎派来的东西换了没有。结果拿红笔在旧图上一描,几条主要走向几乎重合:
- 导航和列表页是「分发口」,AI也是先扫这两层再往下走,跟当年蜘蛛一个脾气;
- 详情页的入口如果埋得深、内链稀,AI照样绕不进去,日志里那片空白区跟2011年截图差不多;
- 当年我特意给爬虫留的那几条横向岔路,也就是相关推荐、面包屑、同分类互链,现在成了AI抓取最勤的通道。
差在哪?差在它进去以后看什么。当年蜘蛛拿走的是一页HTML,现在AI会顺着段落往下读,把能对上语义的句子摘走。所以新问题不是「爬不爬得到」,是「爬到了读不读得懂」。这半个月我碰到的坑基本都是后者:
第一,别再拿「收录量」当数。我让实习生统计AI抓取频次,他直接拿搜索结果数交差,我说那玩意儿是缓存,不是抓取日志,差着意思。
第二,旧的内链结构没白做,反而比后来堆的一堆花活儿管用。我给一个老站做诊断,去年加的那批自动标签页一个没被AI碰,十年前手写的那排锚文本内链倒是日志里常客。
第三,robots.txt 当年怎么写现在还怎么写,但别指望靠屏蔽列表搞定AI,它读不到的地方你越遮它越不放心引你。
我的看法还是那句:GEO就是SEO的变种,骨架没变,变的是AI读内容那一步。骨架没搭好的站,先别急着研究什么GEO策略,把内链和爬取路径捋顺,比什么都实在。
问一句:你们给AI抓取日志做分类的时候,是按URL层级分还是按入口来源分?我这儿两套表还没统一,想听听别人怎么归的。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
