当年做SEO给爬虫留的入口页,现在AI爬虫还认不认?我翻出老脚本测了一轮
最近社区里锚文本、AI爬虫的帖子不少,我就不凑那个热闹了。换个角度——当年我们给搜索引擎爬虫做“入口页”(也叫桥页),现在AI爬虫到底还认不认这套?
先交代背景。2012年前后,我给一个机械配件站做过一批入口页,专门给百度蜘蛛留的,每个入口页只放三个东西:产品核心词、一段120字左右的描述、一条指向主站的锚文本。那时候的逻辑很简单:爬虫顺着链接进来,看到锚文本,就知道主站是干嘛的。
前阵子AI爬虫的事不是吵得凶嘛,我就把当年那套脚本翻出来了,拿五个入口页做了对照测试。方法不复杂:入口页保持原样,主站不动,只观察AI爬虫的抓取日志和最终答案里的引用情况。
跑了两周,说几个观察。
第一,AI爬虫确实会顺着入口页进来,但抓取频次比百度蜘蛛低不少,而且它更倾向于直接抓主站的内页,入口页像是个跳板,进来就走。
第二,入口页上那条锚文本,AI爬虫抓到了,但在最终答案里引用的时候,它往往绕开入口页的表述,直接用主站内页的原话。这说明它认锚文本作为路径,但不认锚文本作为内容来源。
第三,也是最让我意外的——我把入口页的锚文本改成了疑问句式,比如“XX配件怎么选”,AI爬虫抓取后的引用率反而比陈述句高了一截。这点跟当年百度蜘蛛的习惯不太一样,当年陈述式锚文本更稳。
我的判断是:AI爬虫在“认路”这件事上没变,锚文本、内链结构这些老规矩还是管用的;但它对内容来源的筛选比传统爬虫更挑,入口页那套“只做跳板”的思路,在GEO里效果打了折扣。
所以我的结论还是那句老话:核心没变,变的是它挑内容的胃口。当年做SEO踩过的坑,放到GEO里换个壳又出现了,只是反馈周期更短、更看内容本身的匹配度。
想问问各位:你们有没有试过把入口页的锚文本换成问句形式?我这只有五个样本,还不敢下死结论,样本多的朋友可以说说你们的观察。
