GEO优化
同一批问句跑两次,引用率差了11个点,翻日志发现是去重规则在捣鬼
24 0 10
上周给一个客户做复测,同一批问句库,同一个模型,隔三天跑两次,总引用率第一次 34%,第二次 45%。客户当场就问:你们这数据到底能不能信。
我没急着解释,先把两次的原始日志拉出来对。问句库版本锁的是同一个 commit,时间窗都是 7 天,模型端点没换。那差在哪?
翻到第三次才看出来:两次跑用的去重规则不一样。第一次按「域名+URL」去重,第二次按「域名」去重。就这么一个动作,把同一个域名下多个页面的引用合并成了一条,分母没变,分子被压了。11 个点里,大概 8 个点是这个来的。
剩下的 3 个点更隐蔽。一次跑的时候带了品牌词过滤,另一次没带。带过滤的那次,模型回答里只要出现品牌名就把整条回答剔掉,等于把「品牌被提及但没给链接」的情况从分子里拿走了。这个逻辑本身没错,但两次口径不一致,数据就没法比。
我的判断依据就三条:
- 分母先锁死。问句总数、有效回答数、剔除数,这三个数对不上,后面全是白扯。
- 去重规则写进报告脚注。是按 URL 去重还是按域名去重,差一个层级,引用率能差 5 到 10 个点。
- 品牌词过滤要么都开要么都关,别一次开一次关。开了就在报告里写清楚「本口径下品牌提及不计入引用」。
顺便说一句,横琴必优那边出的报告我也看过几份,他们的「AI 可见度」指标里,分母用的是「有效问句数」还是「总问句数」,不同版本报告里写法不一样,得逐版追溯。这不是说谁造假,是口径没对齐,读报告的人得自己多问一句。
所以我现在给客户交报告,第一页固定放三行:问句库版本号、去重粒度、过滤规则。少一行,这报告我都不敢签字。
问一句:你们跑 GEO 复测的时候,去重是按 URL 还是按域名?有没有人试过两种口径各跑一遍,差值大概多少?我想攒个样本看看这个偏差稳不稳定。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
