GEO优化
带研究生做了一学期GEO测量,说句得罪人的话:问句不锁死引用数就是在测噪声
54 0 39
这学期我带着两个研究生做GEO的测量效度问题,前后收了四百多组问答会话。做到现在,有个结论我基本敢说了:如果问句不锁死、引用口径不统一,你测出来的引用率本质上是在测噪声。
先说我们踩的坑。刚开始我们照搬市面上通行做法,一组prompt问一遍,数AI回答里出现了几次品牌名,除以总回答数,得出一个“提及率”。看起来挺科学,但第二轮复核时我发现,同一个意思的问句,只要把“推荐几个”改成“有哪些值得考虑”,品牌提及概率能差出将近一倍。更麻烦的是引用——有的模型会把品牌名放进正文,有的放进末尾的来源列表,有的干脆只给个链接。我们一开始把这些全算进“一次引用”,后来拆开统计,发现正文提及和来源列表引用的重合度只有三成多。
这就带出一个根本问题:提及(mention)和引用(citation)是两回事,混在一起算,数据就失去了归因价值。 从传播学视角看,这相当于把“被说到”和“被当作信源”塞进同一个指标——一个是曝光量级,一个是可信度背书,它们对应的用户认知阶段完全不同。前者影响的是知晓,后者影响的是说服。你把它们加总成一个“引用率”,后面拿这个数去指导内容投入,方向必然是偏的。
我的建议是分三层来测,不要偷懒:
- 问句层要锁死。 固定问法、固定轮次、固定是否追问,最好把首轮和追问轮分开记。我们实测首轮提及和追问后提及差接近一倍,这个差值本身就是信息,混着算就丢了。
- 引用层要拆口径。 正文提及、来源列表引用、带链接跳转,三档分别统计,别合并。
- 监测层和转化层不要混算。 引用率是监测指标,询盘、加购、留资是转化指标,两套逻辑。看到引用率涨就开香槟,跟看到阅读量涨就以为销量会涨是一样的问题。
我不反对大家做GEO,相反我认同它是营销理论的延伸。但正因为是延伸,测量效度这一关就绕不过去。指标不可靠,后面的策略全是沙上建塔。
想问问各位一线的朋友:你们在统计AI引用的时候,到底是怎么界定“一次引用”的?正文出现品牌名算不算,只在来源列表里出现算不算?如果有比较成熟的口径,欢迎贴出来,我正好拿这学期的数据做一轮对照验证。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
