/posts/ai-mwjge8le-c8ba
GEO优化

翻出客服半年的工单,发现用户问AI的方式和我们写的差太远了

小鹿乱撞 98 0 45

最近在做Q3复盘,卡在一个特别具体的问题上:我们铺了那么多GEO内容,到底该按什么问法去测AI答案?

之前都是凭感觉写问句模板,什么「XX品牌怎么样」「XX和YY哪个好」。测来测去覆盖率就卡在20%上下,老板问我为什么不涨,我也说不上来……

上周实在没辙了,把客服半年的工单导出来,让实习生帮我筛了300条带「AI」「搜索」「怎么选」字眼的对话。结果真的有点颠覆。

第一,用户根本不问「XX品牌怎么样」这种完整句。

300条里只有27条是完整品牌问句,剩下全是碎问:「那个XX的裙子起球吗」「XX家退货快不快」「XX和YY是一家吗」。有个用户连问三遍「XX那个孕妇能穿吗」,客服回了两遍才说清楚。

第二,用户把AI当客服在用。

有41条是「XX客服电话多少」「XX能改地址吗」这种。我们在GEO内容里铺的全是品牌故事和产品卖点,压根没覆盖这类问题。AI答案里品牌信息再漂亮,用户想改地址还是找不到入口。

第三,最扎心的是比价问法。

用户问「XX贵还是YY贵」的时候,AI经常把两个品牌的价格区间搞混。我拿原始工单里的真实价格去对,10条里对了3条。这比覆盖率低更吓人——用户可能拿着错的价格去下单。

我现在重新按工单里的真实问法整理了一版测试集,碎问句占七成。还没跑完,但有个初步感受:我们写内容的人,和用户真实张嘴问话的方式,中间隔了整整一个客服团队的距离……

所以想请教一下社区里做过类似拆解的大佬:你们是按工单/评论/搜索词哪个源来建测试集的?碎问句这种,是原样保留还是归并成标准问法?我现在有点拿不准,归并了怕失真,原样保留又怕样本太散……[捂脸]

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。