学生拿AI答对率当信度系数交论文，我让他先补做问句库的复本检验

上周组会，研二学生把开题报告初稿发我，第三章赫然写着「以AI答对率作为GEO效果的测量指标」，还配了张折线图。我翻了两页就合上了，问他一句：你这个「答对率」的题目从哪里来？他愣了一下，说从网上找了三十个常见问题。

问题就出在这里。从测量理论看，任何指标要谈信度，前提是题目本身构成一个同质性的题库。三十道题横跨品牌认知、参数比较、售后政策三个维度，内部一致性系数根本没法估，你算出来的答对率只是三个不同构念的加权平均，连单维性都没验证过。我让他回去先做问句库的分层归类，再抽复本做重测，他还不服气，说AI每次答案都不一样，重测也没意义。

这恰恰是GEO测量里最容易被忽略的一层。AI输出的非确定性不是误差噪声，它是系统性的方差来源——采样温度、上下文长度、检索缓存时点，每一项都在变动。传统问卷的重测信度假设被测对象稳定，但AI这个「被试」每次上场状态都不同。我给学生两条硬规矩：第一，同一问句至少跑三个批次，间隔固定，记录模型版本号和时间戳；第二，把批次间方差拆出来，看它是题目本身的歧义造成的，还是模型端的随机性造成的。这两者混淆，后续任何效度检验都是空中楼阁。

我自己带的一个横向课题，问句库按「属性询问—比较询问—场景询问」三层做了预分类，每层二十题，先跑一遍探索性因子分析，把载荷低于0.4的题剔掉，剩五十二题进正式施测。结果发现比较询问层的题目在AI端辨识度最差，很多答非所问，追根因是官网参数页自己就没写清楚适用边界。你看，测量的效度问题最后回到了内容端——这也是我一直讲的，GEO不是新玩法，是营销测量理论在生成式检索环境下的延伸，口径不清，后面全乱。

所以我现在带学生跑批次，第一件事不是看答对率，是先看问句库的复本结构稳不稳。上周那孩子改完提纲重新找我，我让他加了一节方法说明，写清楚题库来源、分层依据和重测间隔。他问我这样是不是太较真，我说你将来把这篇论文投出去，审稿人第一个问的就是你的测量工具怎么来的。

社区里做GEO落地的朋友，你们在构造问句库时，是按构念分层抽取的，还是凭经验凑数量的？分层之后有没有做过单维性检验？我想听听实操层面的做法。