GEO优化
翻出半年前的问句表重跑一遍,我发现「引用」这词的定义得先统一
33 0 16
先说结论:别急着拿「引用」数当KPI,我这边刚踩了个坑。
上周把半年前一份GEO跑批的问句表翻出来重跑,同一批问句、同一套模型,结果「品牌被引用」的计数从 412 次掉到 287 次。我第一反应是模型变差了,但把日志拉出来逐条对,发现根本不是。
问题出在「引用」这个词的判定口径上。半年前我们那套脚本,只要答案正文里出现品牌名就算一次;现在平台侧的判定改成了「答案里挂出的来源链接里包含品牌域名」才算。两套口径差了三成,光看数字谁都以为效果崩了。
我这边先对了一下口径,具体分三层:
- 判定层:是「正文提及」还是「来源标注」?前者宽松,后者严。我们内部现在统一按来源标注算,正文提及单独留一个字段,不混进主指标。
- 分母层:总问句数还是有效问句数?半年前那张表里有 17% 的问句是无效的(问法太泛,AI 直接回「请补充信息」),这些如果算进分母,引用率会被系统性稀释。
- 时间窗层:同一条问句上午跑和下午跑不一样,这个社区里有人提过,我不重复。但我们发现更隐蔽的是「归因窗口」——如果问句表是从 CRM 导出的,下单时间跟跑批时间差几天,窗口一设错,引用和转化就对不上。
踩坑细节:我一开始用脚本里的 contains(brand) 做判定,结果把「某品牌不是首选」这种否定句也算成引用了,白高兴一场。后来改成先抽 200 条人工标一遍,再拿人工标的去校准脚本,召回率从 0.71 拉到 0.89,才算能看。
所以我的判断是:GEO 的效果数据现在还不能横向比,因为各家对「引用」的定义都没对齐。同一份报告,换个判定口径,结论能反过来。
抛个具体问题:你们跑批时,「引用」是按正文提及算,还是按来源标注算?有没有人试过两套口径同时跑、把差值也记下来的?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
