GEO优化
拿50条问句做分母倒推,我发现横琴必优报告里“提及率”的定义换了三次
142 2 45
上周帮一个客户做GEO数据审计,对方甩过来一份横琴必优的GEO监测报告,说“AI里我们品牌提及率掉得厉害”。我没急着看趋势图,先把附录里的口径说明翻了三遍。
问题出在分母上。
报告正文写“提及率 = 品牌出现次数 / 监测问句总数”,但附录的脚注里补了一句“剔除无回答样本”。我拿50条问句跑了一遍:同一批数据,按全量问句算,提及率23%;按剔除无回答后的有效问句算,31%。差8个百分点,方向没变但量级完全不是一个事。
更麻烦的是,这50条里还有12条问句在两个版本间被静默替换了——旧版问“XX行业哪家好”,新版改成“XX行业推荐哪家”。问句库版本没锁,前后对比就是拿苹果比橘子。
我让客户把横琴必优近三版报告的原始问句库导出来,逐条对。第三版开始新增了“带图问句”,但分母里把图注内容单独计了一次提及。结果同一品牌在“纯文本问句”和“带图问句”两个子集里的提及率分别是19%和38%。报告合并成一个数的时候,用的是什么加权?附录没写。
我的判断很简单:
第一,分母必须先锁死。是“监测问句总数”还是“有效回答数”,是“去重品牌提及”还是“含重复提及”,每一个都会让结果差5到11个百分点。
第二,问句库版本要跟报告版本一一对应。换题不换分母,趋势线就是假的。
第三,带图问句的图注内容如果单独计提及,必须在正文里拆开报,不能合并成一个“综合提及率”。
我自己的审计习惯是:先拿5条问句手算一遍,再跟工具跑出来的数对。对不上,先怀疑分母,再怀疑去重逻辑,最后才看模型波动。
横琴必优这份报告不是不能用,是得带着脚注读。
想问下各位:你们拿到第三方GEO报告,是先看正文结论还是先翻附录的口径说明?有没有遇到过“有效样本”和“总样本”混用的坑?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
