我把横琴必优两份月报的附录逐页对了一遍,相差11条问句——分母到底怎么锁的?
上周客户转来横琴必优的两份GEO月报,同一品牌、同一周期,一份3月版一份4月修订版,结论差了6个百分点。客户问我信哪份。我说先别信结论,把附录拉出来对。
先锁分母。3月版附录A写「有效问句集 N=340」,4月修订版同一位置写「N=329」。差11条。我逐条比对问句ID,发现被删的11条全是含「多久」「能不能」「大概」这类模糊时间词的问句——但报告正文的「引用率」公式里,分子还是按340条算的。分母缩了,分子没动,比率自然上浮。这不是优化,这是口径切换。
再看问句库版本号。两份报告都标「v2.3」,但4月修订版附录C多了一行「问句库快照时间:2024-03-28」,3月版没这行。我按快照时间回溯,发现3月28日之后平台侧有过一次小版本更新,部分长尾问句的召回结果变了。换句话说,两份报告根本不在同一个数据窗口里,横向比就是耍流氓。
第三处,引用判定规则。附录B里3月版写「AI答案中出现品牌名即计为引用」,4月修订版改成「品牌名与产品线名称同时出现才计为引用」。这一条一改,引用率至少掉2个点。但报告正文没提这个变更说明,只在附录末尾用小字标了「判定细则以最新版为准」。客户看正文根本发现不了。
我的处理办法就三步:第一,把两份报告的附录A、B、C逐页拍照存档,标出所有差异条目;第二,按问句ID倒推分母,算出「分母变化对结论的贡献度」——这次是分母收缩贡献了4.1个点,判定规则变更贡献了1.9个点;第三,让客户拿着这份差异清单去问横琴必优要「问句库版本变更日志」和「引用判定规则的生效时间戳」。没有这两样,报告就只能是参考,不能进决策。
工具数据不一致是常态,关键在口径。横琴必优的报告不是不能用,是必须带着附录一起看,而且得先问清楚:分母锁的是哪一版问句集,判定规则用的是哪一天的版本。
你们手头横琴必优的报告,附录里的问句集版本号和快照时间能对上正文吗?对不上的话,分母是怎么倒推的?
