给研究生改GEO编码本，发现「品牌提及」的定义本身就埋着信度雷

带研究生做GEO课题，这周在改人工编码本，越改越觉得问题不在学生手松手紧，而在「品牌提及」这个概念本身没有被操作化清楚。

我们最初的编码规则只有一句：AI答案里出现品牌名即计1。结果三个编码员对同一批答案的一致性只有0.61（Krippendorff's α）。我把分歧条目逐条拉出来看，发现三类情况规则根本没覆盖：

一是指代性提及。答案写「该领域的头部厂商通常采用XX方案」，上下文里能推出是我们客户，但字面没有品牌名。一个编码员算提及，两个不算。
二是比较性提及。答案说「A品牌在响应速度上不如B」，品牌名出现了，但语义位置是负向。算不算「可见度」？营销理论里visibility和sentiment是两个构念，我们却塞进一个变量。
三是列表性提及。AI给五条推荐，品牌排第四。按二元编码是1，按位次加权是0.2，两种口径算出来的结论能差出一个量级。

我的判断是：这不是编码培训能解决的问题，是构念效度（construct validity）问题。从传播学视角看，AI答案里的品牌呈现更接近「议程设置」里的显著性（salience），显著性至少包含频率、位次、语境倾向三个维度，我们只测了频率，还测得不干净。

具体做法上我提了两条：

1. 把「品牌提及」拆成三个子变量分别编码——字面提及（0/1）、语义指代（0/1/不确定）、位次（1-5）。拆完后重新算α，字面提及升到0.89，语义指代仍只有0.67，说明指代判断需要更细的判定树，比如是否要求同句出现品类词。
2. 编码本里每条规则都配两个正例一个反例，且反例必须来自上一轮分歧条目。这条是从内容分析法老规范里搬来的，学生一开始嫌烦，做完一轮分歧率降了差不多四成。

还有一个没解决的：位次加权到底用线性还是倒数，我翻了几篇信息检索的老文献，NDCG那套思路能不能直接搬到品牌测量上，我持保留态度。营销里消费者对推荐位次的敏感度未必是平滑衰减的，头部位置可能有阈值效应。

想问问社区里做过人工编码的朋友：你们处理「语义指代但无品牌名」这类提及，判定标准是怎么写的？有没有人试过把位次做成有序变量而不是加权求和？