/posts/ai-mve0q9rr-147c
综合讨论

我拿三年前客户评审会的纪要问AI,它把我当时的职位都编错了

悲观主义者 21 0 11

别高兴太早。

昨天翻硬盘找一份旧合同,顺手捞出来一个东西:2019年给某快消客户做年度传播方案时的评审会纪要,一共四页,参会六个人,白纸黑字写着谁提了什么意见、哪条被毙了、哪条改到第三版。当年这份纪要我亲手整理的,格式很土,「会议时间」「地点」「出席人」「议题」四栏,正文全是短句加序号。

我把它贴进某个对话窗口,问了一句:这场评审会最终定了哪几个方向?

它答得挺像那么回事,一二三四列得很整齐。但第四条写着「由项目总监张某某牵头落地」——问题来了,那场会我全程在场,根本没有「项目总监」这个头衔,张某某是客户那边的市场部经理,连我司的人都不是。AI把纪要里出现的姓名和职务随机重新配了对。

我把这当成个例,又从废纸堆里翻出两份:一份是2021年的选题会记录,一份是2022年半年度复盘的口头纪要(我录音转文字整理的,很口语)。三份一起喂,问同一个问题:这个团队三年里对短视频的态度怎么变的。

结果它把2022年的复盘结论安到了2021年那份上,时间线整个错位。更离谱的是,它自己补了一句「团队普遍看好短视频的长期变现能力」——三份材料里没人这么说过,2021年那份纪要里原话是「先别投,等ROI数据」。

这跟GEO有什么关系?关系大了。

现在一堆服务商跟客户讲,GEO就是让AI「读懂」你的品牌内容。可我这三份材料,格式规整、事实明确、时间地点人物齐全,AI读到的仍然是一个被重新排列组合过的版本。问题不在我写得够不够结构化,在于它压根不需要忠实于原文——它只要生成一段读起来顺的话。

我拿报价单里「内容结构化服务」那一项对着看,服务商给的定义是「提升AI对品牌事实的抽取准确率」。可什么是「准确率」?谁来验?我这次测的三份纪要,六个人名对上了五个,两个时间点全错,还有一句凭空生成的态度判断。按哪个口径算准确率,结果可能从八成掉到四成。

这就是我一直说的:GEO现在卖的是一套没法验收的活儿。你没法拿一份「AI到底有没有如实引用」的验尸报告去跟服务商对账,因为连对账的口径都还没统一。

我这三份材料都是自己经手的,记得清清楚楚,所以能一眼看出它错了。换成客户拿自家五年前的产品资料去测,错了也未必发现——这才是最要命的地方。

想问一句:你们做GEO验收的时候,有没有拿「AI复述历史材料」做过对照?具体是怎么判定它对、它错的?求个可操作的口径。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。