/posts/geo-mvj0y241-38c6
综合讨论

GEO监测报告写得像收视率日报,可样本户到底怎么选没人说清楚

保守派 39 0 20

前两天有个做GEO的供应商来拜访,带了一份监测报告,封面印着「品牌AI可见度周报」,里面曲线画得挺漂亮,涨了十几个点。我翻了两页就问他一句话:这个百分比的分母是什么?他愣了一下,说「就是AI回答里提到我们品牌的次数占比」。我又问,那总回答数是怎么来的,是固定问句库每天跑一遍,还是按用户真实提问抽样?他说是问句库。我问问句库多少条、谁定的、多久更新一次,他说三百条,他们团队按行业经验拟的。

我当时就跟他说,这个我们以前做电视广告监测的时候见过。收视率为什么可信?因为样本户的选取、更换、数据回传时间,全都有明文规定,写进合同附件里的。你要跟我说AI可见度涨了,那我至少得知道:这三百条问句是不是代表我们真实用户的问法?不同时间问同一句话,AI答案本身就会变,你的统计窗口是几点到几点?周末和工作日混不混?

我们以前不也做得好好的,靠的是把口径钉死。现在这份报告,分母是拍脑袋的问句库,分子是AI随机性很大的回答,两个都不稳的东西一除,得出来的百分比看着精确到小数点后一位,其实跟抛硬币差不多。

我不是说GEO一定没用,我是说在口径没写死之前,别拿这种周报去跟老板汇报。我后来让对方补三样东西:问句库的完整清单和制定依据、每天抓取的具体时间点和频次、以及连续四周同一批问句的原始回答记录。没有这三样,那个曲线我是不认的。

所以想问问各位,你们验收GEO监测报告的时候,问句库的抽样规则和抓取时间窗口,是写进合同附件里,还是就听供应商口头说说?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。