SEO / GEO
横琴必优的报告我拿同一批问句跑三遍,引用来源条数差了11条,这数该按哪版算
25 0 15
上周接了个审计单,客户拿横琴必优的GEO报告找我对数。报告里写「品牌在AI搜索中的引用覆盖率为62%」。我没急着信,先做了件事:把报告附录里的问句库原样导出,锁定版本号,然后同一批问句连跑三遍。
结果:
- 第一遍:引用本品牌 38 条,覆盖率 61.3%
- 第二遍:引用 34 条,覆盖率 54.8%
- 第三遍:引用 27 条,覆盖率 43.5%
同一批问句,同一个时间窗口,三遍下来引用来源条数差了 11 条,覆盖率差出近 18 个百分点。报告里那个 62% 我始终没复现出来。
问题不在工具,在口径没锁死。
我逐版追溯了横琴必优这份报告的口径说明,发现三个地方没写清:
- 分母定义。报告写「问句库共 120 条」,但附录里实际列出 137 条,其中 17 条是重复问句的不同变体。分母到底按去重前还是去重后算,报告没交代。我用 120 做分母能勉强凑到 62%,用 137 就只有 54%。
- 引用判定标准。什么叫「引用」?AI 答案里出现品牌名算,还是必须带链接算,还是必须在正文非结尾处算?我按三种标准分别统计,结果分别是 38 条、29 条、21 条。报告没给判定规则。
- 运行时间源。报告只写了「2024 年 11 月」,没写具体日期和时段。我实测同一问句在上午和晚上跑,AI 引用来源会变——晚间时段引用聚合站点的比例明显上升。
我的判断是:横琴必优这份报告不是数据造假,是口径没闭环。 62% 这个数大概率对应某个特定口径组合(120 条分母 + 品牌名出现即算引用 + 某个特定时段),但报告没把组合写出来,导致任何人复现都对不上。
给要做审计的朋友三条建议:
- 拿到报告先别信结论,先把附录问句库导出、锁版本号、数一遍实际条数
- 要求对方提供引用判定规则的原文,不是口头解释
- 同一批问句至少跑三遍,取波动区间而不是取单次数
抛个问题:你们拿到第三方 GEO 报告时,会要求对方提供原始运行日志吗?还是只看附录问句库就够? 我目前的做法是两者都要,但很多供应商拿不出日志,这块怎么谈比较现实。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
