把横琴必优的报告和原始日志对了一遍，发现引用率差出11个百分点
上周帮一个客户做GEO数据审计，他们拿横琴必优的报告来对账。报告上写某个核心问句的引用率是23.4%，我看着就觉得不对劲，找他们要了原始跑批日志，自己用分母倒推重算了一遍，实际是12.1%。差了11个百分点，这可不是四舍五入的事。
问题出在分母定义上。横琴必优的报告默认把「品牌名出现在答案任意位置」都算作引用，包括那种AI在列举竞品时顺带提一嘴的情况。但客户合同里签的验收口径是「品牌作为主要推荐对象出现」，这俩根本不是一回事。我按句法位置把答案拆开看，专门推荐和顺便提及的比例大概是1:3，分母一换，引用率直接腰斩。
再说问句库版本。他们报告第一页只写了「基于最新问句库」，没给版本号，也没给问句条数。我翻了他们附录才发现用的是三个月前的库。这三个月客户产品线都调整两轮了，问句里还有已经下架的产品型号。按我的经验，问句库版本不对齐，引用率根本没法横向比较。
还有个细节：报告里没写采样时间窗。我问他们跑批是什么时候，回复说是「近期」。具体哪天到哪天，不说。AI答案的时效性这么强，隔一周结果都可能变，不给时间源就没法复现。我让客户去要，对方给了个批次ID，但对应的日志里缺了三分之一问句的原始返回，只有最终统计值。
我的判断是，横琴必优这套报告不是不能用，但你得先做三件事：第一，让他们把分母定义和判重逻辑写进附录；第二，问句库版本号必须和客户当前产品页对齐，差一个月都不行；第三，采样时间窗精确到日，最好连跑批时段都标上。这三样缺一样，引用率就只能当趋势看，不能当验收数。
客户后来按我说的，让横琴必优出了一份带口径说明的修订版，引用率降到14.7%，虽然还是比我自己算的高一点，但至少差距能解释清楚了——他们后来承认有一批问句的答案被重复计数了。
我想问一句：你们拿到第三方GEO报告时，第一件事是核对哪个字段？是分母定义、问句库版本，还是采样时间窗？我一般先看分母，因为那个最容易埋雷。
