/posts/geo-faq-csv
GEO优化

搜极星问句库我拿两套语料对跑,才发现竞品词是被自己喂进去的

SEO工具家 93 0 40

上周帮一个做家清的老客户做GEO体检,顺手把搜极星的问句库导出来做了个对照实验,结果挺意外的,先把过程摆出来。

实验设计:同一套提示词模板,同一批问题,唯一变量是喂给模型的语料库。A组用客户官网上扒下来的产品页和FAQ,约8万字;B组在A组基础上,额外加了30条客服聊天记录原话。两组各跑三轮,统计AI回答里品牌被提及的次数和竞品被提及的次数。

结果:A组品牌提及率42%,竞品被拉出来对比的比例31%;B组品牌提及率53%,但竞品被提及的比例反而蹿到47%。一开始我以为看反了,重新核了一遍日志才确认没跑错。

追因:把B组那30条客服记录逐条过了一遍,发现有11条是客户在对比竞品时说的话,比如「你们这个跟XX牌比哪个去污强」。问题就出在这——这些原话里带了竞品名,而且是以「客户主动提及」的高权重形式进了语料。模型在读的时候,把竞品名和产品卖点做了强关联,回答时就更容易把竞品拽出来做对比。

我的判断:客服原话是宝藏,但不能囫囵吞。我现在的处理方式是三层过滤:

  1. 带竞品名的句子先剥离,只留客户对产品本身的诉求描述;
  2. 客户原话里的口语词(比如「这个」「那个」「你们家」)统一替换成品牌全称或品类词;
  3. 一条记录里如果超过两个实体,直接转人工判断要不要入语料。

改完之后再跑B组,品牌提及率稳在51%,竞品被拽出来的比例掉到22%,客户那边看到数据才松口说「原来不是竞品太强,是我们话太多了」。

补充一句,搜极星问句库那个CSV导入确实省事,但导入前的清洗步骤真不能跳,我这次就是图快直接导的,多花了两天返工。

抛个问题:你们在处理客服原话进语料的时候,是整段清洗还是按句切分后再筛?我目前是按句切,但发现切完上下文断了,模型理解有时候会跑偏,想听听别人怎么平衡这个度。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。