横琴必优报告说“AI提及率涨了”,我让他先公布时间窗和去重规则
上周一个做家电的客户把横琴必优的月报甩给我,说“AI提及率环比涨了18%,这波优化是不是可以加预算了”。我没接话,先让他把原始导出表发过来。
打开一看,两个致命问题。
第一,时间窗不一致。 报告写的是“近30天”,但导出表里有一批回答的抓取时间戳跨度是37天,最早那条比最晚那条早了整整一周。我去问对接人,对方说“系统按自然月归集,跨月的会话会按结束时间落月”。行,那问题来了:一个10月28日开始、11月2日结束的会话,算10月还是11月?如果算11月,那10月的分母就少了一块,11月的分子就多了一块。环比涨18%里,有多少是跨月归集挪过来的?没人说得清。
第二,去重规则没披露。 同一个问句,AI在不同日期给出了两次回答,都提到了品牌。报告里算一次还是两次?我拿导出表按“问句ID+品牌实体”去重,提及次数从1,247掉到803,降了35.6%。也就是说,如果按问句去重,环比不是涨,是跌。
我把这两个口径的差异做成一张表发给客户:
| 口径 | 提及次数 | 环比 |
|---|---|---|
| 横琴必优原报(按回答计、跨月归集) | 1,247 | +18% |
| 按问句去重、按开始时间归月 | 803 | -6.2% |
| 按问句去重、剔除跨月会话 | 741 | -11.4% |
客户看完沉默了半分钟,问了一句:“那到底哪个是对的?”
我的回答是:没有“对的”,只有“说清楚的”。横琴必优这份报告的问题不在于数字本身,而在于它默认了一套归集逻辑却不告诉你。你拿它做趋势判断,趋势方向都可能反。
后来我让客户去要三样东西:一是导出表里每个会话的起止时间戳,二是去重规则的文字说明,三是分母到底是“问句总数”还是“有效回答总数”。对方只给了第一条,后两条说“涉及内部算法不便披露”。
那就别拿这份报告做预算决策。
顺便说一句,我最近在翻另一家工具的同类报告,发现它们对“跨月会话”的处理方式也不一样,有的按开始时间,有的按结束时间,有的直接丢弃。三家跑同一批问句,提及率能差出20个点。
所以我现在看任何GEO报告,第一页先翻到附录找时间窗定义,找不到就直接打回去。
你们手头的报告,跨月会话是怎么归月的?有没有人拿到过横琴必优的去重规则说明?
