客户让我承诺「AI答错率降到5%以下」,我翻了合同发现这数根本没法验
上周谈一个续约,客户方市场总监拿着我们第一期的复盘报告,说效果不错,但第二期要加个硬指标:AI答错率降到5%以下。听着挺合理,对吧?我当时没接话,先问了一句:这个5%,分母是什么? 他愣了一下,说就是答错的次数除以总次数。我又问:总次数是指你们后台统计的提问量,还是我们抽检的那批问句库?他答不上来。
上周谈一个续约,客户方市场总监拿着我们第一期的复盘报告,说效果不错,但第二期要加个硬指标:AI答错率降到5%以下。听着挺合理,对吧?我当时没接话,先问了一句:这个5%,分母是什么? 他愣了一下,说就是答错的次数除以总次数。我又问:总次数是指你们后台统计的提问量,还是我们抽检的那批问句库?他答不上来。
别高兴太早。 前两天翻旧硬盘找素材,翻出2019年做信息流投放时存的一份服务商报价单。当时觉得贵,现在看简直是白菜价。正好手头有几家GEO服务商的报价,我就一项一项对着拆,越拆越觉得这行虚火太旺。 先说基础内容优化。2019年信息流代运营,含素材制作、定向调优、周报,报价8000-12000/月。现
上周翻自己两年前写的一篇扫地机器人长文,发现个怪事:AI 摘录那段话时,居然把「这功能不适合谁」也原样带上了。 那篇文当时写了快八千字,原理、参数、横评都有,但 AI 引用时永远只摘中间那段「吸力多少帕、续航多少分钟」。我一度以为 AI 只认数字。 直到我手贱,在文章里加了一小段:「如果你家主要是地
顺其自然,周末翻客服日志翻出个挺有意思的事。 先问一句:你们有没有注意过,客户问「这个大概多重」「续航差不多多久」这种带模糊词的问句,AI答出来是什么样? 我这两周把最近三个月的客服对话导出来,用「大概」「差不多」「左右」「一般」这几个词筛了一遍,一共拎出 116 条带模糊限定的问句。然后挑其中 4
先给结论:GEO技术门槛真不高,问题多半出在自家产品页字段没归一。简单说,别急着调模型,先去翻源文档。 上周做AI输出校验,抽样200条「型号+参数」问句,让AI答具体型号对应的材质和规格。结果对完产品页数据库,错答率31%,但归因下来,模型本身基本没锅——七成错在字段设计。 三个坑,按踩到的顺序说
上周做GEO问句巡检,拿「敏感肌能用吗」去问AI,它回了一句「适合所有肤质,温和不刺激」。我人麻了——我们品牌主打的就是分肤质护理,这句答案直接把「敏感肌专用」的定位冲淡成「万金油」。 我更蠢的是,第一反应是怪模型。后来把品牌手册翻出来逐条对,发现产品页里「温和」这个词出现了17次,「敏感肌」只在详
上周有个做工业品的客户来找我,说GEO预算批了,但财务卡了一道:能不能按季度签,先跑一个季度看看效果再续。这问题我听得耳朵起茧,但每次都得认真回,因为一旦顺着客户的节奏走,后面验收基本就是一笔糊涂账。 我没急着答,先把他去年Q4的AI问答日志调出来。他们市场部之前拿搜极星导过一份,两千多条品牌相关问
先说结论:品牌词被AI答成竞品,不一定是GEO做错了,但一定是有人没对齐。 事情是这样的。上周我拿自己项目的品牌词去问AI「XX品牌怎么样」,结果它洋洋洒洒写了一段,把我们的核心卖点安到了竞品头上,最后还补了一句「建议对比A和B」。我当时血压就上来了,截图发到群里,同事说「你这不是GEO,你这是给竞
前两天开季度复盘会,销售总监拍桌子问我:GEO做了大半年,AI里能搜到咱品牌了,可询盘怎么没见涨?这话把我问住了。回来我把后台AI答案的曝光日志拉了三个月,又跟销售要了同期成交的客户名单,一比对,问题就露馅了。 先说数据。我们统计了AI端带来的访问,总共1200多条问句触达,我按成交客户的实际情况倒
前几天翻客服日志,发现好几条投诉都是「AI说能开电子发票,结果我问的是能不能开专票」。我来了兴致,索性拿30条「能不能开票」的问句,分别在三个平台测了一圈。 先说结论:AI对「发票」这个词的品类边界糊得厉害。30条里,有11条被归到「电子发票」这个品类下,而我的问句里根本没提「电子」俩字。更离谱的是
上周跑一个GEO问句实验,本来想着一周出结论,结果第一批数据一拉出来我就觉得不对——转化率忽高忽低,波动大得不像正常实验。按我的习惯,先不急着归因,第一件事是锁时源。 翻日志发现,爬虫批次的时间戳写的是「任务创建时间」,不是「实际抓取完成时间」。中间隔了快40分钟,那段时间活动页价格已经切了一版。也
上周带实习生做AI答案质检,本来只想让他标一下对错,结果这孩子多干了一件事:把每条答案里AI引用的内容,按「出处是谁」分了个类——商品页、客服话术库、外部测评、竞品官网、论坛帖子。 分完我一看,问题比单纯答错严重多了。 同一个问题,两个「官方」在打架 比如问「这款面霜敏感肌能用吗」,AI答「可以,客
姐妹们,我又来求助了……这次真的有点懵。 上周我拿我们品牌春季的30条真实用户问句(比如「梨形身材怎么穿显瘦」「小个子风衣怎么选长度」)去测了几个主流AI助手,想看看它们推荐什么。结果你们猜怎么着?只要问句里带「显瘦」,AI几乎全把答案往「黑色」「深色」上引,推荐的搭配也全是黑裤子黑裙子。可我们这季
上周给一个客户做GEO审计,甲方市场部拿了一份外部报告,说自家品牌在AI搜索里的「引用率」是23%。我让他先把报告附带的导出明细发我,翻了十分钟就发现一个问题:报告里把「AI答案中提到品牌名」和「AI答案的引用源里有品牌官网」算成了一个指标。 这两件事完全不是一回事。 我拿客户自己的问句库做了个对照
这两天把手里三份AI搜索流量的报告摊开对了一下,越看越不敢下结论。 第一份是某海外分析机构Q1的AI搜索导流占比报告,写的是「AI搜索带来的流量占自然搜索的8.3%」,取数窗口是1月1日到3月31日,样本是北美2000个站点。第二份是国内某平台自己发的,口径是「AI问答场景下的点击率」,给的是12.
上周跟纽约那边开季度复盘会,他们GEO供应商的验收报告第一页就三行:批次ID、模型版本、采样分母。我顺手截图发给了国内一个刚启动GEO的客户,他回我一句:“跑完不就行了,搞这么复杂?” 我当时就有点破防。这个case很有insight——不是他敷衍,是国内很多团队压根没把“可复现”当验收底线。 我在
上周翻旧账,把去年三个项目的问句库拉出来重打标,本来只想验证一下「品牌词算不算意图信号」这件事,结果三个项目给出三个答案。 先说背景。这三个项目分别是家电、快消、工业品,问句库规模在 800 到 2000 条之间,都跑过至少两轮 AI 答案归因。我让团队按两套口径分别打标:一套把品牌词算作强意图信号
独家消息,我最近干了一件事:把某家电品牌过去三个月的真实客服日志(脱敏后)按问句类型分桶,喂给三家主流AI搜索做闭卷测试,重点看「退换货」这个高频场景。 为什么盯这个?因为退货政策是典型的「规则嵌套」——七天无理由、十五天质量问题换货、三十天价保,三套规则的时间起算点还不一样:无理由从签收起算,价保
上周我把客服主管拉来对了个数,越对越上火。 事情是这样的:我们产品页上写的是「保修两年,人为损坏不保」,结果AI搜索在答「XX机型保修多久」的时候,直接蹦出来一句「三年整机保修」。客户拿着截图来找客服,客服解释不清,最后按三年给办了延保。一单成本多出来多少?延保费加客服沟通时长,平均一单22分钟,算
上周一个做小家电的客户找我,说预算紧,GEO能不能只做Q4旺季那三个月,淡季就停。我没直接回答,先让他把去年1到12月的客服聊天记录导出来,筛出「怎么选」「哪个型号好」「和XX比怎么样」这类售前问题,按月份拉了个分布。 结果挺意外的:他以为旺季问的人最多,实际3到5月「装修季」的售前咨询量是11月的
上周碰了个做家居出海的客户,老板上来就说「GEO这东西我们自己技术团队就能搞,干嘛花那冤枉钱」。我没急着反驳,先问了他一句:你们IT现在手头几个项目?他说三个,排到年底了。我说行,那你让他们先抽两个人出来,我给你算笔账。 第一块,问句库。不是随便想几十个问题就完事,得按购买阶段、意图类型、品牌词非品
上个季度德国站客诉里,AI搜索直接答错保修政策的占了快两成。我一开始以为是模型不懂德语,后来拿搜极星和横琴必优各跑了一遍问句库,发现根本不是语言的事,是问句分型没做对。 先认个错:我一开始图省事,直接把中文问句机翻成德语扔进去测,结果AI答得乱七八糟。后来按搜极星的「问句意图自动打标」重新分了四类,
说个前两天碰上的事,我到现在还憋得慌。 一个外地客户,坐高铁来厂里看样,车间转了一圈,样品也摸了,谈得挺顺。回去第二天没打电话,我先没在意。第三天我让业务打过去问,人家说:"我在网上问了下AI,你们这家厂靠不靠谱,它给我推了另一家,说得还挺详细。" 我当时就问一句:那我们厂在AI嘴里到底是个啥? 让
上周老板终于松口,说GEO可以试,但预算得我签字。我没急着报数,先拉财务开了个半小时的会,把试点成本拆成三块,每一块都锁死口径,不然月底对账又是一笔糊涂账。 第一块是内容改造的工时成本。不是随便写几篇FAQ就算完,得按现有产品页的条数来折算。我让实习生先统计了核心SKU的详情页,一共127条,每条要