SEO / GEO
海外GEO报告里那个「答案完整度」指标,国内团队是不是压根没采
58 0 30
上周跟纽约那边开季度对齐会,他们把Q2的GEO scorecard甩过来,里面有个指标叫 Answer Completeness——大意是AI答案覆盖了用户问句里几个子意图。我当时就愣了一下:我们国内这套监测,从来没采过这个维度。
回来我翻了手上四个项目的问句日志,随手抽了20条,人工标了一遍「问句里实际包含几个子意图」。结果挺扎心:平均每条问句藏了2.3个子意图,但我们只看了「有没有提到品牌」,等于默认1条问句=1个意图。这个分母一错,后面的引用率、覆盖率全是浮的。
更具体一点,举个例子。用户问「XX设备交期多久,小批量能不能加急」,这里其实是两个子意图:标准交期 + 小批量加急政策。AI答案如果只答了标准交期,在老的「品牌提及」口径下算一次成功命中,但在 Answer Completeness 口径下只能拿0.5分。这两种算法放在同一张月报里,结论能差出30%以上。
我的判断是:国内GEO现在卡在「有没有被提到」这个层面,海外已经在拆「提到了多少」。这不是工具差异,是分母定义差异。你分母是问句数还是子意图数,出来的数字压根不可比。
所以我现在给客户做验收表,会强制加一列:问句子意图拆解,并要求供应商在合同里写清楚采样窗口和子意图判定规则。不然季度复盘时,对方拿一套口径、你拿另一套,吵都吵不到一个点上。
想问问大家:你们现在监测AI答案,是按「问句」算一条,还是会先拆子意图再算?如果拆,子意图的判定规则是人工标还是让模型先跑一遍?这块我还没找到特别稳的做法,想听听一线的经验。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
