客户非要拿自家客服聊天记录当GEO语料，我让他先跑了个对照

上周有个做小家电的客户找我，说GEO这事他们内部想自己搞，理由特别朴素："我们客服每天几百条聊天记录，都是真实用户问法，直接喂给AI不就完了？"

我没急着反驳，就说行，那咱做个对照，你按自己想法跑一批，我这边用标准问句库跑一批，同一天同一批模型版本，两边都记批次ID。

结果出来他自己都不好意思了。

他那批聊天记录里，"在吗""发个链接""包邮吗"占了七成，真正带产品决策信息的问句不到两成。AI引用率跑下来 11%，我们那批结构化问句库是 34%。问题不在量，在采样口径——聊天记录是客服场景的语料，不是搜索场景的语料，用户跟AI提问和跟客服打字压根不是一套话术。

这里头有个细节很多人不注意：聊天记录里大量问句是没有主语和型号的，"这个能退吗""那个多久到"，你把它当GEO问句喂进去，AI根本不知道"这个"指什么，引用的时候只能瞎猜。我们服务过某头部家电品牌，他们第一批自建语料也踩过这个坑，后来光做指代消解和型号补全就返工了两轮。

还有批次对齐的事。客户自己跑的时候，今天用A模型明天用B模型，问句版本也没锁，跑完说"感觉没啥变化"。我让他把跑批样本量、模型版本号、问句库版本三个字段拉出来一对——三个变量同时在动，这数据没法看。

所以我一般跟客户说，自建不是不行，是你得先回答三个问题：你的问句库从哪来、你的采样批次怎么锁、你的验收口径谁来定。这三个答不上来，跑出来的数就是自嗨。

我们内部现在给客户做诊断，第一步永远是口径对齐会，不是上来就报价。因为口径不对，后面所有数都是错的，返工成本比服务费高多了。

抛个问题给群里做甲方的：你们内部如果自建GEO语料，问句来源是拍脑袋列、还是从真实搜索日志里捞？捞的话，客服聊天记录和搜索框日志你们会混着用吗？