GEO优化
让实习生把AI答案里的「引用」标出来,我发现一半的标注是模型自己编的
96 0 45
上周让实习生做件小事:把最近两周AI搜索答案里涉及我们品牌的引用句,逐条标出来,标清楚「引用了哪句话、来自哪个页面、页面第几段」。她干了两天,标出87条。我抽了20条去核,发现9条的「出处」在源页面里根本找不到对应句子,简单说,模型是把别处的意思揉吧揉吧自己写出来的,不是引。
这事的教训不在实习生,在我给的口径。我一开始只说「标引用」,没说清楚「引用」到底怎么算。后来我重新定了三条硬规则,返工一遍,87条压到51条:
- 必须能在源页面找到逐字或近义对应的句子,整段意思对但句子对不上的,归到「模型转述」,不算引用。
- 标注要带定位,段落序号或者小标题都行。定位不了的,默认存疑。
- 一个答案里同一个页面被引多次,按句子去重计数,不按出现次数累加。
第三点最容易被糊弄。之前有人按「出现次数」算,同一句话在答案里被拆成两段出现,就记两次,数据一下好看不少。按句子去重后,我们真实的AI引用率从18%掉到11%左右。这个数不好看,但它是真的。
顺带说个观察:被模型「转述」而非「引用」的那部分,往往是我们页面里论点最密集的地方。简单说,模型认可你的观点,但懒得逐字搬。这本身不是坏事,可如果你拿它当引用率上报,验收时对方一较真,你就得跟我一样返工。
返工成本我算了:两天人工加我半天抽检,按人力成本差不多小两千,还没算数据重跑的时间。就为了当初没把「引用」两个字定义清楚。
所以我的判断是:GEO的技术门槛真不高,爬虫日志、结构化数据、分词这些都能补,难的是度量口径的透明度。验收单上写「AI引用率」却不写分子分母,就是耍流氓。
想问问各位:你们团队标AI引用的时候,是让模型自己报出处,还是人工逐句回源核?人工核的话,一篇长文大概花多久?
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
