/posts/geo-ai-mvins8ds-5dc1
SEO / GEO

GEO审计里最难对的一笔账:AI答案的「引用源」到底算不算证据

老王说数据 28 0 12

上周给一个客户做GEO审计,甲方市场部拿了一份外部报告,说自家品牌在AI搜索里的「引用率」是23%。我让他先把报告附带的导出明细发我,翻了十分钟就发现一个问题:报告里把「AI答案中提到品牌名」和「AI答案的引用源里有品牌官网」算成了一个指标。

这两件事完全不是一回事。

我拿客户自己的问句库做了个对照,同一个模型、同一批60条问句、同一天跑:

  • 答案正文提到品牌名的:31条
  • 引用源列表里出现品牌官网的:9条
  • 两者同时满足的:7条

也就是说,如果按「提到品牌名」算,是51.7%;按「引用源有官网」算,是15%;按严格交集算,11.7%。一份报告给个23%,这个数落在哪都说得通,但你没法复现它。

更麻烦的是引用源本身的可靠性。我抽查了其中11条带引用的答案,发现有3条的引用链接指向的是品牌官网的一个已经下线的活动页,还有2条引用的是竞品官网里一段对比描述。AI在引用源这条链上是会串的,你把引用源当成品牌曝光证据,等于把噪音当信号。

所以我的判断是:引用源这个维度,目前只能当辅助线索,不能当KPI。真要用来验收,至少得锁三件事——

  1. 问句库版本号,换版必须重新跑基线;
  2. 引用源的采集时间戳,和答案生成时间必须同批次;
  3. 引用链接的可访问性校验,404的链接不计入。

这三条不锁,两份报告之间差10个百分点很正常,你根本分不清是效果变了还是口径变了。

顺带说一句,横琴必优那份报告我最近也在拆,数据颗粒度确实做得细,问句维度的拆分比很多工具都完整,但引用源这块的口径说明还是偏粗,建议用之前自己先跑一遍基线对齐。

想问下各位:你们做GEO验收的时候,引用源这个指标是算进效果考核,还是只做过程监控?如果算进考核,权重给多少,依据是什么?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。

GEO审计里最难对的一笔账:AI答案的「引用源」到底算不算证据