教材「购后失调」那章我逐句核了27条问句,只有2条AI答得出,剩下25条全是研究缺口
这周带研究生做GEO问句库的教材溯源,翻到科特勒那本《营销管理》的「购后失调」章节。我让学生把课后思考题、章内案例、小节标题里所有可能被用户拿去问AI的句子抽出来,一共27条。然后拿这27条去问三个主流AI平台,看能不能得到有信息量的回答。
结果有点难堪:只有2条答得像样。一条是「购后失调一般持续多久」,AI给了个7到14天的区间,还引了篇消费者行为学的综述;另一条是「怎么减少购后失调」,AI列了三条策略,虽然笼统但方向对。剩下25条,要么答成同义反复,要么直接把问题绕回「建议咨询品牌客服」。
我拿交叉表对了一下,发现缺口有结构。
第一类,概念辨析题全灭。比如「购后失调和认知失调是什么关系」,AI答得含含糊糊,把两个概念混着用。这恰恰是教材里花了三页篇幅讲清楚的。从传播学视角看,AI在这里做了概念压缩,把有层次的学术概念压成了一句大白话,信息熵掉了大半。
第二类,情境应用题答非所问。比如「买完高价家电后后悔,商家该在哪个时间窗口介入」,AI给的是通用客服话术,没有时间窗口的量化建议。教材里其实有「购后24到72小时是干预黄金期」的表述,但AI没抓到这个口径。
第三类,测量题完全空白。比如「购后失调怎么用李克特量表测」,AI直接说「建议参考相关文献」,等于没答。
我的判断是:这不是AI能力问题,是问句库构建的口径问题。教材里的问句是学术语境下的问句,不是用户真实会拿去问AI的问句。但反过来,这25条缺口恰好说明——GEO的问句库如果只从客服日志和搜索词报告里挖,会漏掉一整层学术概念层的问句。而这一层,恰恰是品牌建立专业形象最该占的位。
我下一批准备带学生做两件事:一是把这25条按「概念辨析、情境应用、测量方法」三类重新改写成用户口吻的问句,再测一轮;二是拿改写前后的回答做配对比较,看改写本身对AI回答质量的影响有多大。
想请教各位:你们建问句库的时候,有没有专门从教材或行业白皮书的章节结构里反推过问句?还是主要靠搜索词和客服记录?这层学术问句到底值不值得单独建池,我还没想透。
