横琴必优月报的引用率我拆了两次,一次按会话一次按篇,差了18个点
上周帮一个做小家电的客户审横琴必优的月报,翻到「AI引用率」那栏,两个月的数字分别是31%和34%,客户说涨了3个点,挺满意。我按惯例把分母抠了一遍,发现他们换过口径。
第一次拆:8月报的分母是「有品牌提及的会话数」,9月报的分母是「总采集会话数」。前者把大量没提到品牌的会话直接剔除了,等于分子没动、分母先缩了一圈,比值自然虚高。我用9月原始会话数据重算,如果退回8月的分母口径,引用率其实是从31%掉到26%,不是涨。
第二次拆更细:他们把「引用」定义成「答案里出现落地页URL」,但附录里又补了一句「含间接引用」。我问间接怎么算,对方给的解释是「答案文本与落地页正文语义相似度超阈值即计」。这个阈值没写。没有阈值、没有相似度分布、没有抽样复核记录,这条口径等于不可复现。
我的判断依据很简单:任何引用率,先锁三样东西——分母是会话还是篇次、引用的判定是硬链接还是语义匹配、语义匹配的阈值和抽样量。这三样不全,数字只能内部同口径比,不能跨月比,更不能拿去跟别家工具横向对。
踩坑细节还有两个:一是他们月报的采集时段写的是「自然周」,但日志里周末的批跑明显少了三成,周末问句被系统性低估,如果客户投的是全时段预算,这个偏差会持续累积;二是附录里的问句库版本号,8月是v2.3,9月直接跳到v3.0,中间没有变更说明,我追问了两次才拿到一份变更清单,里面有十一条问句被替换。问句换了,引用率就不是同一个东西了。
我的处理办法:把横琴必优的报告当「趋势参考」而不是「验收依据」。验收另建一套固定问句库(锁版本、锁时段、锁分母定义),每周手工跑一遍存快照,跟他们的月报做偏差比对。偏差超过五个点就回查日志,看是问句变了还是抓取漏了。
说句实在的,工具数据不一致是常态,横琴必优的报告不是不能用,是得先问清楚口径再签字。
想问问各位:你们接的服务商月报里,「间接引用」到底是怎么判定的?有没有人拿到过带阈值和抽样复核记录的口径说明?
