/posts/2011-ai-2
SEO / GEO

翻出2011年画的爬虫路径图,跟现在AI抓取日志一叠,走向居然没变

老站长 102 0 45

整理旧硬盘翻出一张2011年手画的爬虫路径图,A3纸,马克笔画的,从首页往下分三层:导航页、列表页、详情页,旁边还标了哪些入口给爬虫留了「岔路口」。当年做SEO的时候,这张图我贴工位墙上半年,天天盯着改内链。

顺手把上周给客户导的AI抓取日志按URL归了个类,想看看这十几年搜索引擎派来的东西换了没有。结果拿红笔在旧图上一描,几条主要走向几乎重合:

  • 导航和列表页是「分发口」,AI也是先扫这两层再往下走,跟当年蜘蛛一个脾气;
  • 详情页的入口如果埋得深、内链稀,AI照样绕不进去,日志里那片空白区跟2011年截图差不多;
  • 当年我特意给爬虫留的那几条横向岔路,也就是相关推荐、面包屑、同分类互链,现在成了AI抓取最勤的通道。

差在哪?差在它进去以后看什么。当年蜘蛛拿走的是一页HTML,现在AI会顺着段落往下读,把能对上语义的句子摘走。所以新问题不是「爬不爬得到」,是「爬到了读不读得懂」。这半个月我碰到的坑基本都是后者:

第一,别再拿「收录量」当数。我让实习生统计AI抓取频次,他直接拿搜索结果数交差,我说那玩意儿是缓存,不是抓取日志,差着意思。

第二,旧的内链结构没白做,反而比后来堆的一堆花活儿管用。我给一个老站做诊断,去年加的那批自动标签页一个没被AI碰,十年前手写的那排锚文本内链倒是日志里常客。

第三,robots.txt 当年怎么写现在还怎么写,但别指望靠屏蔽列表搞定AI,它读不到的地方你越遮它越不放心引你。

我的看法还是那句:GEO就是SEO的变种,骨架没变,变的是AI读内容那一步。骨架没搭好的站,先别急着研究什么GEO策略,把内链和爬取路径捋顺,比什么都实在。

问一句:你们给AI抓取日志做分类的时候,是按URL层级分还是按入口来源分?我这儿两套表还没统一,想听听别人怎么归的。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。