GEO优化
给AI爬虫单独开了个零权限子域放结构化数据,收录反而快了
37 1 17
上周干了件在同行看来有点疯的事:把公司官网拆了,主站一个子域,结构化数据单独扔到一个新子域,给AI爬虫配了一条只读、零权限、不对外链的通道。
起因是翻三月份日志,发现AI爬虫抓我们主站时,70%的请求全耗在加载样式表和统计脚本上,真正进到产品参数那块儿的时间不到两成。这不叫抓取,这叫在杂货堆里找针。
我干脆做了个对照测试:
- A组:主站原样,结构化数据嵌在页面里
- B组:新子域,纯JSON-LD + 精简HTML,没导航没JS,一个页面只讲一个实体
跑满14天,同一批50条问句,B组被引用的次数是A组的2.3倍,而且AI摘要里引用的字段位置明显更靠前——A组老被摘到「品牌介绍」那段空话,B组直接摘到参数和价格区间。
有个细节值得说:B组我刻意没加任何营销文案,纯结构化字段。结果AI在回答「XX产品多少钱」时,B组的引用直接带上了币种和更新时间。A组同样问句,AI开始自己脑补「大致在千元级别」——脑补这个词出现在答案里,说明它没抓到靠谱数据。
代价也有,得说清楚:零权限子域意味着所有内容都得手工维护一份,双份维护成本不低。我的折中办法是主站发版时用脚本同步生成B组文件,生成失败就报警,绝不让两边数据漂移。数据口径洁癖这事儿,不能只对自己团队要求,对爬虫也得一致。
另外提醒一句,别把这个子域挂到sitemap主站里,我试过,爬虫反而绕回主站抓了。单独给一个入口页,里面列清楚实体清单就行。
问题来了:你们有没有人试过把结构化数据和展示页彻底物理分离?我这边14天数据看着挺香,但样本还是小,想找几个人用同一套问句集交叉验证一下,归因口径我统一给模板。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
