带研究生读GEO论文,发现八成没交代AI答案的抽样口径
这周带研究生做GEO方向的文献综述,顺手把近两年能检索到的四十多篇相关论文过了一遍,有个现象让我坐不住:真正交代清楚「AI答案是怎么抽出来的」的,不到两成。
什么叫没交代口径?举几个我实际翻到的例子。有的论文写「采集了主流AI搜索对某品类问题的回答」,但主流是哪几个模型、版本号多少、提问时间窗多长,一律不提。有的写「共获得有效样本500条」,可这500条是按什么规则去重的?同一个prompt重复问三次得到三个不同答案,算一条还是三条?还有的直接把某平台一次问答截图当作证据,连提问的原始措辞都省了。
从传播学视角看,这不是小瑕疵,是编码环节的失控。AI答案本质上是模型对语料的再编码,你连自己编码时的条件都没记录,后面所有关于「品牌露出率」「引用准确率」的结论,解码端根本没法复核。我做市场营销实证这么多年,量表信度效度是入门门槛,到了GEO这里,抽样口径反倒成了可选项,这个倒退值得警惕。
具体我提三个最低要求,供做实证的同仁参考。第一,模型标识要写到版本粒度,别只写「某AI助手」,这东西迭代比你论文投稿周期快得多。第二,prompt集合要么全附录要么给可复现链接,措辞差一个字,答案可能就换一个方向。第三,重复提问的合并规则必须写清楚,是取首次、取众数还是全保留,这直接决定你分母的大小。
我自己组里现在跑实验,强制要求学生在数据字典里单列一栏「采集口径」,包含时间戳、模型版本、提问温度参数(如果能设的话)、去重规则四项,缺一项不进分析。上周有个学生想跳过,被我把原始日志调出来对了一遍,发现他所谓「500条有效样本」里有一百多条是同一问题的变体重复,分母虚高了两成。
说到底,GEO是营销理论的延伸,不是营销研究的例外。理论延伸的前提是方法可迁移,方法可迁移的前提是口径可交代。
想请教各位:你们在实践或研究里,看到过把AI答案抽样口径写得最扎实的范例吗?是来自学术论文还是行业白皮书?我想找来给学生当范本。
