凌晨两点翻AI爬虫日志，发现它把官网「公司简介」页当成了「产品参数」页
昨晚又熬到两点，本来想跑完最后一批问句就睡，结果顺手点开日志，发现一个诡异的事：AI爬虫最近一周狂抓我们官网的「公司简介」页，一天能抓七八次，而真正的产品参数页反而一天只来一次。我第一反应是爬虫抽风了，但把日志按时间线拉出来一看，规律特别明显——每次抓完「公司简介」，紧接着就会去抓「团队介绍」，然后跳过产品页直接走。
我把这半个月的日志按URL分组数了一下：产品参数页总抓取次数 43 次，公司简介页 312 次。比例快 1:7 了。更离谱的是，我拿几个客户常问的「参数类问句」去测AI回答，它居然把公司成立年份、团队人数这些信息当成产品规格来回我，比如我问「这款设备的功率多大」，它回「我们公司成立于2015年，拥有50人研发团队」——牛头不对马嘴，但这恰恰说明它把简介页的内容当成了产品页的补充。
我怀疑是页面结构的问题。打开源码对比了一下，产品参数页的正文被包在一个 tab 切换组件里，默认只渲染第一个 tab，其余参数得点一下才加载。而公司简介页是纯静态文本，所有内容一次性铺在 HTML 里。爬虫大概率是懒得执行 JS，直接抓了静态那版。
于是昨晚干了三件事：第一，把产品参数从 tab 里拆出来，全部平铺成静态表格，哪怕视觉上丑一点；第二，在简介页顶部加了一段结构化摘要，明确写「本页为公司介绍，产品参数请见 /products/spec」；第三，把产品页的 H1 和 meta description 重新对齐，把「公司简介」四个字从产品页的 title 里删掉——之前运营为了塞关键词，把这两个页面的标题写串了。
今天早上跑了一遍同样的问句，AI 回答里开始出现具体的功率数值了，但还没完全干净，偶尔还会混进团队人数。我估摸着得等下一轮抓取周期，至少再观察一周。
踩过的坑给各位提个醒：别只看「抓取频次」这个总数，得按 URL 分组看比例。要是某个非核心页的抓取量远超核心页，十有八九是页面结构或者标题把爬虫带偏了。
想问下大家：你们有没有遇到过这种「AI 把 A 页内容当成 B 页补充」的情况？最后是靠改页面结构还是靠加结构化数据解决的？我这边还在纠结要不要上 JSON-LD 再兜一层。
