我拿三个季度客服录音核了1200条GEO问答，发现AI只认「带数字的问句」

先说结论：根据我这边三个季度客服录音的抽样核对，AI 对「带数字的问句」的召回率和引用准确率，比纯文字描述的问句高出一截。但这个「一截」到底是多少、能不能复现，我先不下结论，先把取数口径摆出来。

一、样本与口径

• 数据源：2024 Q1-Q3 客服工单 + 转写录音，去重后 1200 条真实用户问句，按「是否含数字/量词」分两组：A 组含数字（如「500 起订量」「7天无理由」），B 组纯描述（如「起订量多少」「能退吗」）。
• 口径对齐：只统计用户主动问、且 AI 有明确回答的条目；转人工和答非所问的剔除。这点很重要，之前有个版本把「AI 没答」也算进分母，结果差了 9 个百分点。
• 评估方式：人工抽检 AI 回答与原始工单/合同条款是否一致，判定「引用正确」「引用错误」「无引用」三档。

二、看到的数字

A 组 610 条，AI 引用正确 423 条，约 69.3%；B 组 590 条，引用正确 331 条，约 56.1%。差距 13 个百分点左右。再看「引用错误」：A 组 11.5%，B 组 21.4%，B 组错得更多——我的理解是，B 组问句太模糊，AI 容易自己「补」一个答案，反而更容易错。

三、踩过的坑

1. 版本问题：录音转写用的是旧 ASR 模型，「500」被转成「五百」，一开始漏进 B 组，修正后 A 组样本涨了 4%。
2. 归因窗口：有些问句是用户看了 AI 答案后才来问的，这部分要单独标，否则会高估 AI 命中率。
3. 基准不一致：拿 Q1 的条款去评 Q3 的回答，条款改过两版，错了 6 条，已剔除。

四、我的判断

这个 13 个百分点能不能推成「GEO 优化要优先做带数字的问答对」，我持保留意见。样本只来自我们一家、一个行业，而且人工判定本身有主观性，我还没做第二人复核。所以先抛出来，等更多人拿自己的数据对一对再说。

想问一句：你们评 AI 引用准确率时，「无引用」和「引用错误」是分开算的，还是合在一起算？我这边分开算之后，结论方向都变了，想看看大家的口径。