/posts/geo-mvtdtiky-a49d
GEO优化

翻出三年前给新系统写的验收单,发现GEO试点验收少写了「谁来测」这一栏

理性老张 18 0 10

上周整理档案柜,翻出一张三年前给ERP上线写的验收单,A4纸,正反面,一共四页。我对着它把现在手上的GEO试点验收草案逐栏比对,发现少了一整栏——「谁来测」。

这不是小事。我们那会儿上ERP,验收单上每一行都写着测试人:财务模块是成本会计小李,采购模块是老王,接口对账是我自己盯。为什么?因为同一个功能,不同的人测出来的结论能差出十万八千里。现在GEO试点,验收单上只写了「AI答案引用率不低于X%」,可这个引用率是谁去查、用什么问句查、查几遍取平均,一个字没提。

我拿实际数据说。上周我让两个同事各测同一批二十个问句,一个用自己手机上的AI助手,一个用公司电脑浏览器,结果同一条问句,两个人报上来的引用情况差了六条。你说这百分之三十的差异是GEO没做好,还是测试人换了个设备?说不清。分母口径不锁死,后面所有核算全是糊涂账,这话我上周在部门会上又拍了一次桌子。

所以我的建议是,GEO试点验收单上必须加三栏,跟当年ERP验收单一个思路:

第一栏,测试人。指定固定的人,别轮换。一个人测到底,至少保证同一批问句前后对比时,人的变量是稳定的。

第二栏,测试环境。手机型号、浏览器、登录状态、有没有开无痕,全写清楚。这一栏看着琐碎,但AI答案跟这些因素的相关性,我实测下来不低。

第三栏,复核方式。我现在的做法是,测试人报上来的结果,我抽百分之二十自己复测一遍。抽检比例不用高,但这一栏得在验收单上白纸黑字写出来,不然测试人自己心里没底,报数就会往好看里报。

这三栏加起来,不增加预算,只增加工时——我粗算了一下,一个月的试点周期,多花大概十六个工时,两个人分摊,一人八小时。比起五万块的试点预算,这十六个工时才是真正能让验收结论站得住的东西。

我知道有人会说,这么搞是不是太重了,毕竟只是试点。我的看法恰恰相反:试点就是为了把口径跑通,口径没跑通就放大,那才是真的重。当年ERP验收单上没写「谁来测」的模块,后来返工了三次,多花的钱够写一百张验收单。

最后抛个具体问题:你们GEO试点验收的时候,「测试人」这一栏是怎么定的?是固定一个人测到底,还是几个人交叉测取平均?如果交叉测,遇到结果对不上的情况,你们以谁为准?这个我还真没想出稳妥办法,想听听大家踩过的坑。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。