/posts/23-5
综合讨论

同一批问句,换个人工编码就多出23%的品牌提及,这信度怎么交代

学者风范 38 0 15

带研究生做GEO课题,这周卡在了一个很基础但绕不过去的问题上:品牌提及的编码口径。

事情是这样的。我从三个行业里抽了120条真实问句,让两个研究生背对背做人工编码,标记AI回答里是否出现目标品牌。结果出来,两人一致率只有0.71,Kappa系数算下来0.58,勉强算中等一致。更麻烦的是,学生A比学生B多标了23%的提及。

我把分歧样本逐条拉出来看,问题集中在三类边界情形:

第一类,品牌名出现在AI回答的「引用来源」列表里,正文没提。这算不算品牌提及?从传播学视角看,引用列表是信源标注,不是讯息内容,理论上不该算;但从曝光效果看,用户扫一眼就能看到品牌名。

第二类,AI回答用「该品牌」「这类产品」指代,前文出现过一次品牌名。这属于回指,编码时容易漏。

第三类,竞品对比场景里,AI说「A品牌在续航上不如B品牌」。负面提及算不算提及?我倾向于算,但需要单独标记情感极性,否则后续做可见度分析会把负面曝光和正面曝光混在一个桶里。

我的处理办法是先把编码手册从「是否提及」这一单一维度拆开,改成三个字段:正文提及(是/否)、信源列表提及(是/否)、情感极性(正/中/负)。然后重跑了一轮,两人一致率升到0.89,Kappa到了0.81。

但这里有个更根子上的问题:GEO领域现在缺一套公认的编码标准。营销学里做内容分析,好歹有Krippendorff's alpha这样的信度门槛摆着,GEO这边各家报告口径五花八门,连「提及」的定义都不统一。我翻了几份市面上的GEO报告,有的把信源列表算进去,有的不算,但都不写明,读者根本没法判断数字可比性。

所以我的判断是:做GEO效果评估,编码信度必须先于效果测量。信度不过关,后面算出来的引用率、可见度都是噪音。

想请教社区里做过类似编码的朋友:你们处理「信源列表提及」这类边界情况时,是算进去还是单列?如果单列,后续怎么合并成一个可对外汇报的指标?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。