GEO优化
有人拿「AI回答长度」当GEO效果指标,我拆了200条回答发现长度和引用没关系
29 1 14
上周群里有人甩了张图,说AI回答越长,品牌被引用的概率越高,建议把「回答长度」纳入GEO效果看板。我第一反应是:分母呢?样本怎么抽的?
我自己拉了200条带品牌引用的AI回答,按回答长度分了四档(<100字、100-200字、200-400字、>400字),每档50条,同一批问句、同一周跑、同一模型版本。结果引用率的分布是这样的:
| 回答长度档 | 样本数 | 含品牌引用数 | 引用率 |
|---|---|---|---|
| <100字 | 50 | 11 | 22% |
| 100-200字 | 50 | 14 | 28% |
| 200-400字 | 50 | 13 | 26% |
| >400字 | 50 | 12 | 24% |
四档之间最大差6个点,在n=50的置信区间里根本拉不开。说「越长越容易被引用」的,大概率是把「长回答里品牌名出现次数多」和「被引用」搞混了——前者是提及,后者得看有没有给出来源链接或者明确归因。
更坑的是我后来按问句类型分层看,发现长度效应全被问句类型吃掉了:对比类问句的AI回答天然偏长(平均380字),但引用率并不比短回答的「事实查询类」高。如果不分层,直接跑回归,长度系数显著为正;一分层,系数掉到0.03,p值0.61。典型的辛普森悖论。
所以我的判断是:回答长度顶多算个过程指标,进不了效果看板。真要监控,不如盯「引用位置」——我手上这批数据里,品牌被引在回答前三分之一段的,用户后续追问率是引在末尾的2.3倍。这个才跟商业价值挂钩。
你们有没有遇到过类似「看起来相关、分层后消失」的GEO指标?我最近在整理一份伪指标清单,想多收集几个案例。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
