当年做SEO的锚文本内链坑,AI爬虫日志里又见了一遍,顺手拿三个对照页验了验
前两天翻服务器日志,本来是想看下AI爬虫的抓取频次,结果发现一个老熟人:锚文本内链的问题又冒出来了。
当年我做SEO的时候,内链锚文本滥用是最典型的坑。比如一个页面里到处用“点击这里”“了解更多”做锚文本,或者同一个关键词反复链向同一个页面,权重分散不说,还容易被判过度优化。那时候我们做内链,讲究的是锚文本自然分布,一个核心词配三五个变体,链向不同层级的页面,形成树状结构。这个规矩我记了十几年。
现在看AI爬虫的日志,发现它抓页面的时候,还是认这套东西。我拿三个对照页面做了个小实验:
- A页:内链锚文本全是“详情”“这里”“点我”,指向三个不同产品页。
- B页:锚文本用具体产品名,但同一个产品名重复链向同一页五次。
- C页:锚文本用产品名加场景词,比如“工业级传感器选型”“传感器安装注意事项”,每个链向不同但相关的页面,层级清晰。
日志里看AI爬虫的抓取路径,C页的抓取深度和频次明显高一截,而且抓取后对页面内容的索引关联也更完整。A页和B页抓得浅,锚文本指向的页面很多没被跟进去。说白了,AI爬虫跟当年搜索引擎爬虫一个逻辑:它靠锚文本判断目标页面的主题和重要性,你给的信息越模糊,它越懒得跟。
另外我注意到,nofollow这块也一样。当年我们给广告链接、登录页加nofollow,防止权重流失。现在日志里看,AI爬虫对nofollow的处理虽然不完全等同于传统搜索引擎,但基本逻辑没变:它不跟或者降低跟进优先级。所以那些指望用nofollow藏链接来引导AI抓取的做法,基本是白费劲。
还有个小细节:robots.txt里屏蔽的路径,AI爬虫也照规矩不抓。这跟我前几天翻出来的15年前写法一模一样,User-agent那段加个通配符,Disallow几行,现在照样管用。
所以我还是那句话,GEO是SEO的变种,核心没变。你把当年内链结构、锚文本分布、robots.txt这些基本功做扎实了,AI爬虫自然认。别被那些新名词唬住,底层还是那套东西。
最后问一句:你们有没有试过把老站的内链结构直接套到新站上,AI爬虫的抓取路径跟当年搜索引擎比,差别大不大?我这边样本还少,想多攒点对照数据。
