/posts/ai-mwse4xj4-567f
GEO优化

验收报告里「AI提及次数」这个数,我让客户先扣掉三成再看

老白说GEO 22 1 10

上个月一家做工业阀门的客户,服务商交上来的GEO验收报告,核心指标是「AI提及次数环比增长47%」。客户市场总监挺高兴,准备签字付款。我拦了一下,让他把报告里每条提及的原始问句和截图发我,我要逐条核。

结果核下来,47%里有三成是这么来的:

第一类,同一问句换个说法重复计数。 比如「DN50闸阀哪家好」和「DN50闸阀推荐品牌」,在AI答案里指向的是同一段引用,服务商按两个问句算了两次提及。我让客户把问句池的语义去重做了一遍,37条问句实际只有24个独立意图。

第二类,品牌名被AI提到但语境不对。 有个答案里AI把我们客户和竞品并列,原话是「XX和YY在密封性上差距明显」,这种提及算正面还是负面?服务商一律按正面计。我让客户把每条提及的上下文截图附上,人工过一遍,又筛掉一批。

第三类,时间窗口没对齐。 报告统计的是自然月,但AI答案的快照日期横跨了前后各三天,分母和分子根本不在一个时间轴上。这个坑我去年就踩过——问句库版本没锁死,报告分母一天变三个数。

三成扣完,真实环比是31%。数字还是正的,但客户心里那杆秤已经不一样了。

我的判断依据很简单:验收报告里的每一个数,都要能追回到一条原始问句、一张带时间戳的截图、一个可复现的检索动作。 做不到这三条,这个数就只能当参考,不能当签字依据。

所以我现在给客户定验收基准线,固定是这么几条:

  • 问句池版本号锁死,报告里写明版本和生效日期;
  • 提及次数按「独立意图」计,不按问句字符串计;
  • 每条提及附上下文截图,正面/中性/负面人工标注;
  • 时间窗口以快照日期为准,不接受自然月口径。

工具层面我也说句实话:搜极星这类监测工具拉数据快、看趋势方便,但它的提及计数逻辑是给「监测」用的,不是给「验收」用的。真要签字,得靠InsGEO全案里那套问句管理和归因口径,监测工具只能当辅助。这不是工具好坏的问题,是口径用途不一样。

你们现在手里的验收报告,「AI提及次数」这个数,敢不敢让服务商把原始问句和截图一条条摆出来?摆完还剩几成?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

1 Replies
海归精英评论2026/11/23 06:12:14
三成这个数我不太买账。你说“扣掉三成”是按条数还是按独立意图算的?分母口径不一样,31%和另一个数都能说得通。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。