纽约团队GEO跑批用固定问句集,我搬回国内发现问句两周就过时
上周跟纽约那边开sync,他们给我看了最新的GEO跑批报告,还是那套固定问句集,从去年Q3到现在没换过。我当时就问了句:这套问句现在还work吗?对方愣了一下,说他们一直这么跑,数据可比性高。
这个case很有insight——国外那套固定问句集的做法,本质是为了做时间序列对比,牺牲了问句的时效性。但我把它搬回国内,跑了两周就发现不对劲。国内AI搜索的query分布变化太快了,尤其是跟热点、促销节点挂钩的品类词,两周前的问句今天再拿去跑,AI答案的相关性掉得厉害。
我拉了一下我们的跑批日志,同一个问句池,第1周的有效回答率是78%,第2周掉到61%,第3周直接43%。这不是模型的问题,是问句本身跟用户真实搜法脱节了。纽约那边能扛住三个月不换问句,是因为他们市场成熟,用户query pattern稳定;国内这边,用户的搜索习惯还在快速演化,固定问句集就是刻舟求剑。
我的解法是拆成两层:一层是锚点问句,固定不动,用来做长期趋势对比;另一层是动态问句池,每周从搜索后台扒真实query补进去,跑完就淘汰。锚点问句只占30%,动态池占70%。这样既保住了可比性,又不会让整个报告失去时效意义。
但这里有个坑我得提醒:动态问句池的准入规则必须提前锁死,不然每周换一批问句,分母口径就乱了,涨跌幅根本没法看。我现在是要求运营提交问句时,必须附带来源(哪个平台、什么时间、原始query原文),没有这三样的一律不进池子。另外同义词归并规则也得定清楚,不然“哪家好”和“哪个牌子好”算两个问句,有效问句数虚高,复用率也算不准。
还有个细节:有效问句的判定标准,我现在是让AI先跑一遍,人工抽10%做校验,但抽检样本太小,统计上站不住脚。纽约那边用的是全量人工标注,成本高但口径硬。我在纠结要不要在国内也上全量标注,还是找个折中的抽样比例。
想问问大家:你们跑GEO的时候,问句池是固定还是动态?如果动态,准入规则和同义词归并是谁在审?有效问句的判定,你们敢不敢把样本量压到10%以下?
