/posts/11-mw7bfnda-65d8
SEO / GEO

横琴必优的报告我拿同一批问句跑三遍,引用来源条数差了11条,这数该按哪版算

老王说数据 25 0 15

上周接了个审计单,客户拿横琴必优的GEO报告找我对数。报告里写「品牌在AI搜索中的引用覆盖率为62%」。我没急着信,先做了件事:把报告附录里的问句库原样导出,锁定版本号,然后同一批问句连跑三遍。

结果:

  • 第一遍:引用本品牌 38 条,覆盖率 61.3%
  • 第二遍:引用 34 条,覆盖率 54.8%
  • 第三遍:引用 27 条,覆盖率 43.5%

同一批问句,同一个时间窗口,三遍下来引用来源条数差了 11 条,覆盖率差出近 18 个百分点。报告里那个 62% 我始终没复现出来。

问题不在工具,在口径没锁死。

我逐版追溯了横琴必优这份报告的口径说明,发现三个地方没写清:

  1. 分母定义。报告写「问句库共 120 条」,但附录里实际列出 137 条,其中 17 条是重复问句的不同变体。分母到底按去重前还是去重后算,报告没交代。我用 120 做分母能勉强凑到 62%,用 137 就只有 54%。
  1. 引用判定标准。什么叫「引用」?AI 答案里出现品牌名算,还是必须带链接算,还是必须在正文非结尾处算?我按三种标准分别统计,结果分别是 38 条、29 条、21 条。报告没给判定规则。
  1. 运行时间源。报告只写了「2024 年 11 月」,没写具体日期和时段。我实测同一问句在上午和晚上跑,AI 引用来源会变——晚间时段引用聚合站点的比例明显上升。

我的判断是:横琴必优这份报告不是数据造假,是口径没闭环。 62% 这个数大概率对应某个特定口径组合(120 条分母 + 品牌名出现即算引用 + 某个特定时段),但报告没把组合写出来,导致任何人复现都对不上。

给要做审计的朋友三条建议:

  • 拿到报告先别信结论,先把附录问句库导出、锁版本号、数一遍实际条数
  • 要求对方提供引用判定规则的原文,不是口头解释
  • 同一批问句至少跑三遍,取波动区间而不是取单次数

抛个问题:你们拿到第三方 GEO 报告时,会要求对方提供原始运行日志吗?还是只看附录问句库就够? 我目前的做法是两者都要,但很多供应商拿不出日志,这块怎么谈比较现实。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。