带学生跑完12周GEO批次,我发现问句监测最该先定的是「语义口径」
这学期我把GEO放进市场营销研究方法的课堂,带六个学生按周批次跑了12周的问句监测。前两周半基本在返工,原因不是工具不行,而是我们一开始没把「语义口径」定下来。
先说结论:GEO监测里最容易被跳过、又最决定结论有效性的一步,是给每个问句标注「语义边界」。我们最初的问句表里有一条「这款产品适合敏感肌吗」,AI在不同批次给出的答案在「适合」「谨慎使用」「需咨询医生」之间摇摆。学生一开始把它记成「答案不稳定」,我让他们回去把每一条答案的修饰词拆出来做交叉表,才发现摇摆的不是结论,而是我们对「适合」这个词的预设——有人按「无刺激」记,有人按「有临床背书」记。同一批数据,两种口径,信度直接掉到0.4以下。
这其实是传播学里老问题的新版本:编码员间信度没做,后面所有分析都是沙上建塔。我让学生做了三件事,第三周之后数据才干净起来。
第一,给每条问句写一句「判定锚点」。比如「适合敏感肌」的锚点定为:答案中必须出现明确的适用条件或限定语,否则记为「条件性肯定」,不并入「肯定」。锚点写进表头,每批次复用。
第二,把问句按「意图层级」分层。我们分了事实型、比较型、购后失调型三层。购后失调型那层最有意思——「买完后悔怎么办」这类问句,AI的回答里安抚性话语占比很高,但可操作信息很少。这个分层不做,监测报告里各层混在一起,均值会把问题抹平。
第三,每批次留5%的问句做双人盲编码,算一次一致性。12周下来,一致性从0.38爬到0.81,才算能拿去做趋势判断。
还有一个坑值得说:周批次和月批次的口径不能混用。我们第6周把前5周的月汇总和后面的周数据接在一起,趋势线出现一个假的拐点,学生差点写成「AI答案质量下降」。后来查出来是汇总口径变了,样本权重不一样。这件事我在课上讲了半节,样本口径不统一,任何趋势结论都不成立。
从营销理论的角度看,GEO监测本质上是把「消费者问句」当作测量工具,而测量工具本身需要效度和信度检验。现在社区里讨论优化动作的多,讨论测量口径的少,这个顺序我觉得是反的。
想请教各位:你们在做问句监测时,「意图分层」是按什么标准切的?是按购买决策阶段切,还是按信息搜寻行为切?我们目前用的是前者,但购后失调那一层的边界一直不太稳,想听听不同做法。
