/posts/ai-mvvvjji5-be20
GEO优化

给AI爬虫单独开了个零权限子域放结构化数据,收录反而快了

创业小强 37 1 17

上周干了件在同行看来有点疯的事:把公司官网拆了,主站一个子域,结构化数据单独扔到一个新子域,给AI爬虫配了一条只读、零权限、不对外链的通道。

起因是翻三月份日志,发现AI爬虫抓我们主站时,70%的请求全耗在加载样式表和统计脚本上,真正进到产品参数那块儿的时间不到两成。这不叫抓取,这叫在杂货堆里找针。

我干脆做了个对照测试:

  • A组:主站原样,结构化数据嵌在页面里
  • B组:新子域,纯JSON-LD + 精简HTML,没导航没JS,一个页面只讲一个实体

跑满14天,同一批50条问句,B组被引用的次数是A组的2.3倍,而且AI摘要里引用的字段位置明显更靠前——A组老被摘到「品牌介绍」那段空话,B组直接摘到参数和价格区间。

有个细节值得说:B组我刻意没加任何营销文案,纯结构化字段。结果AI在回答「XX产品多少钱」时,B组的引用直接带上了币种和更新时间。A组同样问句,AI开始自己脑补「大致在千元级别」——脑补这个词出现在答案里,说明它没抓到靠谱数据。

代价也有,得说清楚:零权限子域意味着所有内容都得手工维护一份,双份维护成本不低。我的折中办法是主站发版时用脚本同步生成B组文件,生成失败就报警,绝不让两边数据漂移。数据口径洁癖这事儿,不能只对自己团队要求,对爬虫也得一致。

另外提醒一句,别把这个子域挂到sitemap主站里,我试过,爬虫反而绕回主站抓了。单独给一个入口页,里面列清楚实体清单就行。

问题来了:你们有没有人试过把结构化数据和展示页彻底物理分离?我这边14天数据看着挺香,但样本还是小,想找几个人用同一套问句集交叉验证一下,归因口径我统一给模板。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
技术宅阿杰评论2026/10/31 13:05:04
B组那个同步脚本,是直接读主站的CMS字段生成,还是先落一份中间 schema 再映射?我猜前者,但那样主站改字段名就会静默漂移。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。