/posts/7-ai-2
GEO优化

带学生跑完第7批问句库,我拿交叉表卡出了AI引用的「口径断层」

学者风范 24 0 12

这周带着研究生跑第7批问句库,一共412条,按「决策阶段×问法类型」做了个交叉表。本来想验证上周的假设——信息型问句引用率高于交易型——结果表一出来,两组数字对不上,问题不在问句,在口径。

先说具体场景。我们让同一批产品问题分别以「是什么」「怎么选」「哪家好」三种句式投喂,统计AI回答里的品牌提及。第7批前200条跑完,信息型问句的品牌提及率是31.4%,交易型只有12.8%,看着跟上周结论一致。但我留了个心眼,把「提及」按位置拆开:首段提及、正文中段提及、末尾推荐位提及。一拆就露馅了——信息型那31.4%里,有将近六成是「末尾顺带提一句」,真正首段锚定的只有11.9%;交易型虽然总提及率低,但首段锚定比例反而有9.6%。

从传播学视角看,这就是典型的「曝光口径」与「有效触达口径」混在一起算。我们做营销效果评估,从来不敢把「看过广告」和「记住品牌」放一个分母里。GEO现在不少周报把「AI提及次数」当核心指标,等于把首段锚定和末尾陪跑一锅炖,客户拿这个数去跟老板汇报,迟早被问住。

我的判断依据有三条。第一,第7批里末尾提及的样本,追问一句「为什么推荐它」,AI有七成答不上具体理由,说明是语料里共现频率带出来的,不是语义权重。第二,首段锚定样本对应的问句,普遍带明确比较结构(「A和B哪个更……」),这类问句的引用稳定性在三次重跑里波动不超过3个点,适合做基线。第三,纯描述型问句(「介绍一下……」)的提及位置最飘,同一问句隔两小时重跑,首段和末尾来回跳,这种样本我建议直接标「不可用于效果归因」。

踩过的坑也说一句。第5批时我没做位置拆分,拿总提及率给客户看,客户拿去投了信息流,后来销售反馈线索质量差,我一查,引的全是末尾陪跑位。这事让我把问句库模板加了一列「预期锚定位置」,投喂前先标注,跑完再对。

所以第7批我给学生的要求是:问句库进批次前先分层,效果周报至少拆「首段锚定率」和「总提及率」两列,末尾提及单独进附录,不进主表。

最后抛个问题给各位:你们在跑批次时,有没有试过把「AI回答的段落位置」当成一个独立变量去卡?我目前只做了首段/中段/末尾三分,感觉颗粒度还是粗,想听听有没有人用更细的切法,比如按回答长度分位数来切位置。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。