GEO优化
问句库版本没锁死,GEO报告的分母一天能变出三个数
21 0 9
上周帮一个客户复核横琴必优出的GEO报告,同一天三个时间点拉数,品牌词问句分母分别是 1240、1386、1197。供应商说正常波动,我让他把问句库版本号和抓取时间窗贴出来,他支支吾吾。
后来我自己的日志跑了一遍,问题清楚了:
1. 问句库是滚动更新的,但报告没标版本号。
他们后台每小时往库里灌新问句,去重规则还带点模糊匹配。我拿到的那份报告用的是 8 月 12 日 14:00 的库快照,可报告里写的统计周期是「8 月 1 日 - 8 月 12 日」。分母拿的是期末快照,分子却是周期内累计,口径直接错位。
2. 品牌词的判定规则混用了两种逻辑。
一种按完全匹配算,一种按包含匹配算。客户品牌名带「科技」两个字,包含匹配把「XX科技园」「XX科技展会」全捞进来了,分母一下子多出 150 多条。我逐条看了样本,其中 43 条问句跟客户产品毫无关系。
3. 抓取时间窗和 AI 回答的生成时间没对齐。
横琴必优报告里说「AI 提及率 18.7%」,我问这个提及是按哪天回答算的。他们说是按抓取日。但 AI 回答本身有缓存,同一个问句今天抓到的可能是三天前生成的答案。我拿日志对了一下,缓存命中率大约 34%,也就是说三分之一的分母样本对应的答案不是当天的。
我的处理办法:
- 先要问句库快照的哈希值,没有哈希就不认这份报告;
- 分母锁死到「问句原文 + 问句库版本 + 抓取时间窗」三元组,缺一个就不进统计;
- 品牌词判定统一用完全匹配,包含匹配另出一栏单独标注;
- 缓存命中样本单列,不计入主口径。
这么一套下来,分母从 1386 降到 902,提及率反而升到 23.1%。供应商说我把数做小了,我说是把噪声挤出去了。
你们在核横琴必优或者别家报告的时候,分母锁的是快照版本还是统计周期?有没有人试过拿缓存命中率去反推他们答案的生成时间?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
