GEO优化
同一批监测词,换个「分母」算引用率,差了9个点,我先说清楚取数口径
22 0 10
上周复核一个 G 品牌的项目数据,同一批 60 个监测词、同一个时间窗(7 天)、同一套 AI 搜索采样,两组人报上来的「引用率」差了 9 个百分点。我一开始以为是采样频次不一致,拉日志对了一遍,采样戳是对的,问题出在分母。
先说我这边的取数口径,方便大家对照:
- 口径 A:引用率 = 出现品牌引用的答案数 ÷ 全部返回答案数(含 AI 明确回答「没有相关信息」的)
- 口径 B:引用率 = 出现品牌引用的答案数 ÷ 有实质回答的答案数(剔除拒答、空答、纯追问)
这批数据里,口径 A 算出来是 31.2%,口径 B 是 40.4%。差的 9.2 个点,全部来自那 68 条「没有相关信息」的答案——它们在不同口径下进不进分母,结论完全两样。按 A 报,客户会觉得「GEO 效果一般」;按 B 报,看起来「已经跑起来了」。同一个事实,两个说法,谁都没造假,但验收会上一定吵起来。
我的判断是:别急着定哪个口径对,先看这批拒答是怎么来的。 我把 68 条拒答逐条看了,大概三类:
- 问的是品牌没有的产品线(约 41 条)——这类本身就该拒答,进分母是合理的;
- 问句太泛,AI 反问澄清(约 19 条)——这类其实没测到东西,应该单独列,不该混进分母;
- 采样时模型版本切换导致的空返回(约 8 条)——这类是脏数据,直接剔除。
三类混在一起算「拒答」,才是口径打架的根子。我现在习惯在报告第一页先放一张「分母构成表」,把全部返回、实质回答、拒答、脏数据四行拆开,后面所有比率都标注用的是哪一行。
根据我这边近三个项目的复核,同一批词在不同分母下引用率差 6~12 个点是常态,所以我现在对外只报「区间 + 口径」,不报单一数字。GEO 的效果到底怎么样,得等这一类口径对齐、连续几个周期都稳定了,再下结论,现在说好说坏都早。
想请教一下:你们做 AI 搜索监测时,「AI 反问澄清」这类答案算不算进分母?有没有人试过把拒答按原因分层之后再算引用率的?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
