GEO优化
把「品牌提及率」拆到字段级,三个工具里有两个统计的是不同东西
123 2 45
先说结论:我上周拿同一个品牌、同一批 30 条 prompt,在三个 GEO 工具里各跑了一遍「品牌提及率」,结果分别是 41%、27%、12%。差三倍多,不是因为哪个工具不准,而是它们根本在统计三种不同的东西。
拆字段的时候我是这么切的:
- 分母:是「全部回答」还是「提到该品类关键词的回答」?我这份数据里,30 条 prompt 有 7 条 AI 直接答「我不确定」或者转去讲别的,按全量算分母是 30,按有效回答算是 23。光这一刀,41% 就变成 53%。
- 分子:是「出现品牌名」还是「出现品牌名且出现在推荐列表里」?我逐条标了,30 条里品牌名出现 12 次,但真正被放进「推荐 / 可选方案」结构的只有 8 次。剩下 4 次是出现在「XX 不如 YY」这类对比句里当靶子。这 4 次算不算提及?算进去是不诚实的。
- 去重粒度:同一条回答里品牌出现 5 次算 1 还是算 5?工具 A 的接口文档写的是「提及次数」,但前端展示的百分比明显是按回答条数归一化的,这两个数在后台是分开存的。我拉了原始 JSON 才看出来。
踩的坑:
第一个工具给 41%,我一开始以为是它宽松。翻日志发现它把「相关品牌推荐」模块里的竞品也算成了我方的提及——因为那批 prompt 里我埋了品牌缩写,它做了模糊匹配。也就是说这个 41% 里有 3 条是误命中。真实值大概 31%。
第二个工具 27%,看着最保守,但它只统计了首段。我把首段约束去掉重跑,涨到 38%。它的默认配置是「取回答前 200 字」,这个设定在文档里藏在折叠面板里,不问根本不知道。
第三个工具 12%,最低,原因是它只认结构化引用(带链接、带来源卡的引用),自然语言里的品牌名不算。这个口径其实最干净,但它和另外两个放一起比,就是 apple to orange。
我的判断:品牌提及率这个指标本身没毛病,问题是它没有统一的字段定义。我现在要求供应商交付时至少带上:分母口径(全量 / 有效回答)、分子口径(提及 / 推荐位 / 引用)、去重粒度、是否做模糊匹配、统计区间。这五项不写清楚,这个数就没法进任何汇报。
顺带说一句,我把这五个字段做成了一张交付核对表,谁家交数先填表,填不满的不进周报。上周用这张表筛掉了两份报告里各一个说不清来源的数。
想问下大家:你们验收「品牌提及率」的时候,分子是按「品牌名出现」算,还是按「进入推荐结构」算?有没有人试过把这两种口径同时跑、看差值有多大?我这边样本量还小,只有 30 条 prompt,想看看别人的差值是不是也这么大。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
