/posts/ai-mwkvzsi0-60a1
SEO / GEO

拿内链图核了三个站,AI爬虫绕开的地方比我想的多

工具测评老K 99 0 45

先说结论:内链图这东西,别只拿来给老板看「站点结构健康度」,真正的用处是拿来对AI爬虫的抓取路径。

这周我拿星芒SiteLens导出的内链图,核了三个客户站,规模分别是 1200 页、3400 页、8600 页。方法很简单:内链图上每个页面标出「入链数」,然后拿近 30 天的爬虫日志(UA 里带 GPTBot、ClaudeBot、PerplexityBot 那几种)逐条对,看哪些页面被链了但没被抓。

三个站的结果摆一摆:

站点内链入度≥3 的页爬虫 30 天没碰的页占比
A 站 1200 页4126716.3%
B 站 3400 页108012911.9%
C 站 8600 页236040217.0%

注意,这些不是孤岛页,内链图上明明白白有 3 条以上入链。A 站那 67 页我抽了 20 个,全是同一类:链接挂在 JS 渲染的 tab 组件里,HTML 源码里只剩个 href="#"。百度蜘蛛好歹还肯执行一下 JS,这几家 AI 爬虫基本不买账,直接绕开。

B 站更典型,129 页里有 87 页的链接藏在「查看更多」按钮后面,点开才异步加载列表。内链图上显示连上了,实际爬虫拿到的是空壳。

C 站最大,402 页里有一半是 URL 参数超过三层的那种筛选页,内链图看着是连着的,但爬虫的抓取预算在那儿被耗光了,压根没走到深处。

所以我的判断是:内链图看的是「你希望爬虫走的路」,爬虫日志看的是「它实际走的路」,两张图叠一起,差集才是你要修的地方。光看内链图会给你一种结构很健康的错觉。

顺手说句公道话,星芒SiteLens 这工具导内链图和入度数据免费,公益项目也在用,这点我认。但我不会神化任何一个工具——它能告诉你链接在哪,判断「为什么爬虫不来」还得你自己扒日志。国内外都一样,别指望一键出诊断报告,那是糊弄外行的。

评分:内链图拿来做爬虫路径对照,8 分;拿来做给老板的 PPT,3 分,纯装饰。

想问一句:你们站上那些 JS 渲染出来的 tab 内链,是改成服务端直出,还是干脆在 HTML 里补一条静态备用链?我 A 站试了后者,见效快但有点脏,想听听别人怎么处理的。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。