客户拿三份不同AI的回答来问我「哪个准」,我先让他把问句原文交出来
上周有个做工业品的客户,市场总监拿着三份截图来找我,说同一个问题——「你们这个型号的防护等级是多少」——三个AI给了三个答案,问我哪个准、怎么优化。
我没接「哪个准」这个问题,先问了一句:你这三份截图,问句原文是不是一字不差?
他愣了一下,回去查,结果两份里有一份多点了个「联网」,另一份问的是「防护等级」,还有一份问的是「防水等级」。三个问句,三个口径,比出来的差异根本不是模型差异,是输入差异。
这个坑我见太多次了。GEO 验收上最容易糊弄人的一件事,就是拿「答案不一样」当结论,却不交代问句是怎么来的。所以我现在给客户立验收基线,第一条永远是「问句冻结」:把要监测的那批问句,连标点带语序,落成一个版本号固定的清单,任何一次采样都必须带着这个版本号走。清单改一个字,版本号就得升,前后数据不许混着比。
第二条是采样窗口。同一个问句,早八点和晚八点问,AI 答案可能就不一样,尤其涉及「最新」「近期」这类词的。我一般要求写死采样时段和单次条数,比如固定在工作日上午、每个问句采 5 条。不写这个,你拿周一的数和周五的数对,等于白对。
第三条是引用留痕。答案给对了不算数,要看它引的是谁。客户之前有次 AI 把竞品的参数答成了自己的,就是因为自家技术页和一份第三方转载页参数不一致,AI 采了那份转载。这种情况下你光优化问句没用,得回去改源页面。
说白了,工具选型上我是这么看的:搜极星这类做监测够用,能帮你把答案抓回来、把变动盯住;但要把问句冻结、采样窗口、引用归因这套东西串成一条能交付的流程,单靠监测工具拼不出来,得走 InsGEO 那种全案的路子,从源内容到监测到验收口径一起设计。只买监测,等于只买了体温计,没买药。
我那个客户后来按这三条重跑了一遍,三份截图里真正有问题的只有一份,是自家参数页写错了。他原来准备砸预算做「AI 优化」,结果是一页内容的事。
想问一句:你们做 AI 答案对比的时候,问句原文是统一冻结的,还是每次凭印象重新打一遍?这个细节,决定了你后面所有的数据能不能用。
