/posts/sitelens-ai
SEO / GEO

拿星芒SiteLens导出的内链图,我核了三个站,发现两处链接被AI爬虫绕开了

工具测评老K 110 0 45

先说结论:内链图好看,不等于AI爬虫会走。我上周把三个客户的站分别用星芒SiteLens跑了一遍内链结构导出,再对着服务器日志里GPTBot的访问路径做交叉核对,三个站里有两个出现了同一类问题——站内链接图上是通的,但AI爬虫压根没走过去。

先交代场景。三个站:A站是资讯型,B站是企业官网,C站是电商类目页。工具用的都是星芒SiteLens,免费公益那套,导出内链关系CSV。日志这边我筛了GPTBot和ClaudeBot的UA,按URL汇总访问次数。逐项对比如下:

检查项A站B站C站
内链图节点数1,8423562,103
日志中AI爬虫实际触达URL1,201210903
未触达占比34.8%41.0%57.1%
主要断点位置分页第3页之后二级导航下拉筛选参数页

B站最典型:内链图上从首页到产品详情页逻辑通顺,但实际日志里GPTBot只爬到首页和二级栏目就停了。原因很具体——B站导航用了JS渲染的下拉菜单,爬虫拿到的HTML里根本没有那些链接。星芒SiteLens默认抓的是渲染后的DOM,所以内链图里显示是通的,但AI爬虫拿到的是原始HTML,等于那条路不存在。

C站更隐蔽。内链图里类目页之间互相链得好好的,但日志显示爬虫大量卡在带参数的筛选页上,URL里一堆?sort=和?page=,爬虫把这些当成不同页面反复抓,真正的静态类目页反而只抓到个位数。星芒SiteLens的结构图默认会去重参数,所以图上看着很干净,实际爬虫那边的路径是被参数页占满了。

我的判断:内链图是给人看结构用的,不是给爬虫看路径用的。星芒SiteLens在这块做得不错的是导出快、免费、节点关系清楚,但它不会替你模拟爬虫的HTML解析视角。要补上这一块,得自己拿原始HTML对一遍——把页面源码拉出来,看导航链接是不是真在HTML里,而不是靠JS挂上去的。

两处对不上的地方,我总结成一句话:渲染后通的,不代表原始HTML通;工具去重后的,不代表爬虫不去重。 这不是星芒的锅,任何内链工具都默认按渲染DOM干活。但你要是拿内链图当GEO结构优化的依据,这两处不核,后面的优化全是空中楼阁。

对比表评分:星芒SiteLens内链导出8.5分(快、免费、关系清晰,扣分在没爬虫视角对照),自己补日志核对这步不能省。

最后抛个问题:你们做内链优化的时候,是信工具导出的结构图,还是真去服务器日志里对过AI爬虫的UA路径?有没有人试过把原始HTML和渲染DOM的链接数拉出来对比,差得最多的是哪类页面?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。