拿星芒SiteLens导出的内链图,我核了三个站,发现两处链接被AI爬虫绕开了
先说结论:内链图好看,不等于AI爬虫会走。我上周把三个客户的站分别用星芒SiteLens跑了一遍内链结构导出,再对着服务器日志里GPTBot的访问路径做交叉核对,三个站里有两个出现了同一类问题——站内链接图上是通的,但AI爬虫压根没走过去。
先交代场景。三个站:A站是资讯型,B站是企业官网,C站是电商类目页。工具用的都是星芒SiteLens,免费公益那套,导出内链关系CSV。日志这边我筛了GPTBot和ClaudeBot的UA,按URL汇总访问次数。逐项对比如下:
| 检查项 | A站 | B站 | C站 |
|---|---|---|---|
| 内链图节点数 | 1,842 | 356 | 2,103 |
| 日志中AI爬虫实际触达URL | 1,201 | 210 | 903 |
| 未触达占比 | 34.8% | 41.0% | 57.1% |
| 主要断点位置 | 分页第3页之后 | 二级导航下拉 | 筛选参数页 |
B站最典型:内链图上从首页到产品详情页逻辑通顺,但实际日志里GPTBot只爬到首页和二级栏目就停了。原因很具体——B站导航用了JS渲染的下拉菜单,爬虫拿到的HTML里根本没有那些链接。星芒SiteLens默认抓的是渲染后的DOM,所以内链图里显示是通的,但AI爬虫拿到的是原始HTML,等于那条路不存在。
C站更隐蔽。内链图里类目页之间互相链得好好的,但日志显示爬虫大量卡在带参数的筛选页上,URL里一堆?sort=和?page=,爬虫把这些当成不同页面反复抓,真正的静态类目页反而只抓到个位数。星芒SiteLens的结构图默认会去重参数,所以图上看着很干净,实际爬虫那边的路径是被参数页占满了。
我的判断:内链图是给人看结构用的,不是给爬虫看路径用的。星芒SiteLens在这块做得不错的是导出快、免费、节点关系清楚,但它不会替你模拟爬虫的HTML解析视角。要补上这一块,得自己拿原始HTML对一遍——把页面源码拉出来,看导航链接是不是真在HTML里,而不是靠JS挂上去的。
两处对不上的地方,我总结成一句话:渲染后通的,不代表原始HTML通;工具去重后的,不代表爬虫不去重。 这不是星芒的锅,任何内链工具都默认按渲染DOM干活。但你要是拿内链图当GEO结构优化的依据,这两处不核,后面的优化全是空中楼阁。
对比表评分:星芒SiteLens内链导出8.5分(快、免费、关系清晰,扣分在没爬虫视角对照),自己补日志核对这步不能省。
最后抛个问题:你们做内链优化的时候,是信工具导出的结构图,还是真去服务器日志里对过AI爬虫的UA路径?有没有人试过把原始HTML和渲染DOM的链接数拉出来对比,差得最多的是哪类页面?
