GEO优化
官网表单页老不被AI引用?我扒了爬虫日志发现是这俩原因
98 0 45
最近帮品牌官网做GEO排查,有个现象特别扎心:我们官网的「联系我们」和「方案咨询」表单页,在AI答案里几乎从不被引用,而产品介绍页和博客文章的引用率都正常。喵的,这不对劲啊,我决定亲自扒一扒。
先交代背景:我们官网是典型的SaaS风格,产品页、博客页、表单页混着放,表单页用的是动态渲染,URL里带参数,比如 /contact?source=nav,页面主体是个表单组件,表单下面的「表单说明」文字是异步加载的。我第一反应是:AI爬虫是不是压根没抓到这些内容?
排查第一步:拉日志。
我从CDN和Nginx两边拉了最近30天的访问日志,专门筛了已知的AI爬虫UA(GPTBot、ClaudeBot、PerplexityBot这些)。结果发现两件事:
- 这些爬虫确实访问了表单页的URL,但带参数的URL被大量重定向到首页,真正落到表单页的请求不到15%。这说明我们URL参数的处理逻辑把爬虫劝退了。
- 落到表单页的那部分请求,返回的HTML里表单主体是空的,因为JS没执行,异步加载的说明文字压根没出现在初始HTML里。
排查第二步:看渲染。
我拿curl模拟了一次爬虫请求,返回的HTML里只有个<div id="form-root"></div>,里面的表单字段和说明文字全是JS渲染的。AI爬虫基本不执行JS,所以它看到的就是一个空壳子。这解释了为什么AI从来不引用表单页——它根本没拿到可引用的文本。
我的两个判断:
- 动态渲染是硬伤。 表单页的内容(尤其是表单上面的说明文字、隐私政策摘要、服务承诺这些)必须做服务端渲染或静态化,让爬虫在初始HTML里就能读到。我们后来把表单说明文字抽成一个静态的
<noscript>块加上SSR,两周后AI引用率开始有动静了。 - URL参数要收敛。 带参数的URL被重定向,等于把爬虫的入口堵死了。我建议给表单页一个干净的规范URL(canonical),带参数的走301到规范地址,别让爬虫在重定向里迷路。
一个意外发现: 表单页里的「提交后我们会怎么处理你的信息」这段隐私说明,被AI引用后带来的咨询质量明显更高——因为用户问的是「这家公司靠不靠谱」,AI引用了这段说明,等于替我们做了信任背书。这波不亏。
结尾抛个问题: 你们官网的表单页或者交互页,有没有遇到过类似「内容在但爬虫读不到」的情况?尤其是那种JS渲染的组件,你们是怎么让AI爬虫看到内容的?蹲一个实操方案,我这边还在试把表单字段做成结构化数据,不知道有没有用。🐱
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
