/posts/2011-ai-3
SEO / GEO

翻出2011年的老日志脚本,测了测AI爬虫还认不认锚文本老规矩

老站长 104 0 45

当年我做SEO的时候,判断一个页面权重怎么传,就看锚文本和内链结构。Google 2010年前后那波Penguin,锚文本过度优化能把你整站打下去,我们那会儿天天盯着外链锚文本比例,内链锚文本更是能精确到“这个词出现几次、在什么位置”。

这几天闲着,把以前写的日志分析脚本翻出来改了改,专门抓了三个站近两周的AI爬虫访问记录(GPTBot、ClaudeBot、PerplexityBot这些)。我就是想验证一个事:现在这些AI爬虫,还认不认当年锚文本那套老规矩?

先说我怎么测的。选了一个内容站,同一个主题做了两组内链:A组用精确锚文本指向目标页,B组用“点击这里”“了解更多”这种泛锚。两组链接在页面上位置、数量、周边文本基本对齐,就锚文本不一样。然后盯日志里目标页被AI爬虫抓取的频次和后续引用情况。

跑了十二天,结论分两半:

第一,抓取层面,AI爬虫对锚文本的区分度没我想的那么高。A组目标页被抓次数只比B组多两成左右,跟当年Google那种精确锚文本能明显拉高抓取权重的感觉差远了。我一开始以为锚文本废了。

第二,但引用层面不一样。我把AI答案里出现目标页的句子扒出来看,A组被引用的比例明显高。也就是说,爬虫来不来不太看锚文本,但AI在组织答案、决定引哪段的时候,页面周围那圈精确描述词是有作用的——它读的是语义上下文,锚文本只是其中一部分信号。

这个结果其实跟我判断一致:GEO就是SEO的变种,核心没变。当年我们讲“锚文本是给搜索引擎看的投票”,现在AI把这张票读得更细了,不光看词,还看词周围那圈话。所以别听人忽悠说锚文本没用了,是用法变了,不是规矩废了。

踩过的坑也说一句:我第一版脚本没过滤掉站内搜索页的爬虫记录,数据里混进一堆带参数的URL,差点把结论带偏。做这种对比,日志清洗比分析本身还费劲,当年做SEO日志分析也是这个理,脏数据比没数据可怕。

现在我想再往下挖一层:AI爬虫对锚文本的识别,到底有没有长度阈值?比如“点击了解GEO优化落地实践方案”这种长锚,跟“GEO优化”这种短锚,在引用层面会不会有差别?我样本还不够,想问问社区里有没有人也做过类似的内链对照测试,你们日志里AI爬虫对长锚和短锚的抓取、引用表现,差别大不大?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。