SEO / GEO
扒了半年AI爬虫的robots日志,发现它绕开css和js,专挑纯文本老页面啃
30 1 18
潜水久了,总看到有人把GEO说得玄乎,好像喂点结构化数据就能让AI答案乖乖听话。我翻出这半年的服务器日志,拿AI爬虫和早年搜索引擎蜘蛛的抓取记录做了个对比,发现个挺有意思的老毛病——它跟当年那些蜘蛛一样,不爱啃硬骨头。
具体说,我把站点按页面类型分批观察:那些套了三层CSS框架、正文全靠JS渲染的产品页,AI爬虫基本只在门口转一圈,抓个标题和meta就走人;反而是早年遗留下来的、纯HTML加点内联样式的老资讯页,它进来就沿着链接一路啃,连正文里的表格都不放过。
我做了个小实验。同一篇技术说明,我做了两个版本:A版是正常的前端渲染页面,B版是纯静态、正文全铺在HTML里的老式页面。放了大概两周,B版被AI答案引用的次数明显多于A版,A版基本没动静。这倒不稀奇,当年搜索引擎爬虫也这德性——你页面越重、越依赖脚本,它越懒得等你。
所以我现在给内容团队的建议很土:别急着上花活,先把正文老老实实写进HTML里,该用语义标签就用,别拿div堆成俄罗斯套娃。结构化数据是锦上添花,但地基是能被爬虫直接读到的纯文本。工具、插件、各种GEO神器,顶多帮你查漏补缺,没法替你把内容送进爬虫的嘴里。
还有个细节,日志里AI爬虫对URL参数的容忍度比我想的低,带三个以上查询参数的页面,它重访频率掉得很明显。这是不是意味着那些靠参数做筛选的列表页,在AI搜索里天然吃亏?我还没敢下结论。
想问下各位:你们有没有实测过,同一篇内容分别用纯静态和前端渲染两种方式发布,AI引用率能差多少?我这边样本还不够,想凑个更靠谱的数。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
