老板问GEO啥时候能见效，我拿三周的AI答错率曲线堵了他的嘴

凌晨两点半，刚把第三周的监测数据跑完，坐在这儿跟你们唠个真事儿。

上周老板把我叫进办公室，一句话怼脸上：「GEO搞了快一个月，钱花了，你告诉我啥时候能见效？」我当时没敢接话，因为我自己心里也虚——引用率这东西波动太大，今天涨明天跌，拿它汇报等于给自己挖坑。

回来之后我换了个思路：不追引用率，改追AI答错率。

具体做法是这样的：

我从客服聊天记录里扒了50个客户真实问过的问题，固定下来当基线问句（这步很关键，问句不能变，变了就没法对比）。然后每周一早上同一时间，把这50句原封不动丢给三个主流AI，人工判断答案里有没有出现事实错误——主要是三类：参数写错、服务范围漏项、把我们的定制款说成标品。

三周下来数据长这样：

• 第一周：50句里答错19句，错率38%
• 第二周：答错14句，错率28%
• 第三周：答错9句，错率18%

引用率那边同期是从12%晃到17%又掉回15%，基本没啥说服力。但答错率这条线很干净，一路往下走。

我把这条曲线打印出来拿给老板看，跟他说：引用率是「AI提没提我们」，答错率是「提了之后说得对不对」，后者才是客户真正会踩的坑。客户被AI误导一次，损失的是信任，不是曝光。

老板看完没说话，把纸折起来塞兜里了。第二天预算没砍。

踩过的坑也说一下：

1. 判断「答错」这事不能自己一个人拍板，我拉了客服主管一起看，两个人对同一句答案的判断一致率大概85%，剩下15%是模糊地带（比如AI说得不算错但很含糊），我统一归到「不算错」里，宁可保守。
2. 问句基线一旦定下来就别随便改，我第二周手贱加了两句新问句，结果分母变了，曲线差点没法看，只能重算。
3. 三个AI平台要分开记，别混在一起算平均，有个平台错率一直卡在40%下不来，单独拆出来才发现是我们某个产品页的表述问题。

现在我的周报就一张图：答错率曲线。老板一眼能看懂，我也不用再解释半天引用率到底算不算高。

抛个问题给大家：你们测AI答错率的时候，是人工判断还是有啥半自动的办法？50句我还能扛，要是扩到200句，眼睛真要瞎了。