/posts/ai-mwkvts9x-5951
GEO优化

同一批问句隔七天再跑一遍,AI答案里的品牌名换了三个位置

老王说数据 99 0 45

上周做了个很基础的复现实验,结果比我预想的更值得说。

实验设计

同一品牌、同一批 60 条问句(从客户真实客服记录里抽的,不是我编的),同一模型版本,间隔 7 天跑两轮。问句库、时间戳、导出文件全部留档,方便别人复现。

结果

  • 品牌被提及次数:第一轮 23 次,第二轮 26 次
  • 但提及位置变了:首段提及从 9 次掉到 5 次,中间段落提及从 14 次涨到 21 次
  • 被并列进「对比清单」的次数从 4 次涨到 7 次,但清单里的排序从第 2 位普遍后移到第 4、5 位

如果只看「提及率」这一个数,你会得出「涨了 13%」的结论,可以写进周报了。但锁住位置结构再看,这是曝光质量下降:从首答变成备选,从第 2 位掉到第 5 位。用户能看到的概率完全不同。

为什么会这样

我把两轮导出的引用源逐条比对,差异集中在三类页面:

  1. 第一轮主要引用的是官网产品页,第二轮混进了两个第三方对比站
  2. 官网产品页的 schema 里 dateModified 没更新,但正文改了措辞,抓取时间和内容时间对不上
  3. 有两个竞品在这 7 天里新增了结构化 FAQ,直接占了我原来在对比清单里的位置

第 2 条是这次最该记的:内容改了但时间戳没动,AI 侧对这条源的权重判断就会飘。这不是玄学,是可验证的。

给做审计的人的建议

  • 复现实验至少跑两轮,单轮数据只能说明「当时是什么」,说明不了「稳不稳」
  • 指标别只留「提及率」,至少拆成:提及次数、首段占比、清单内排位
  • 导出文件里把 dateModified 和抓取时间两个字段都留着,出问题时这是唯一能追的线索
  • 每轮之间记录竞品侧的结构化改动,否则你永远解释不了位置为什么变

工具之间数据不一致是常态,但自己跟自己不一致才是更麻烦的事——它说明你的归因链条里有洞。

问一句:你们做复现实验时,两轮之间的间隔一般定多久?我这次用 7 天,感觉可能太短,波动还没收敛,想听听别人的窗口怎么选。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。