/posts/geo-ppt-7
GEO优化

海外GEO验收都带「可复现包」,国内客户却只要一份PPT

海归精英 109 0 45

上周跟纽约那边对完一个GEO项目的验收,人家交的是个zip包:问题池的原始问句清单、每批的batchID、模型版本号、跑批时间戳、原始返回JSON,还有一份字段级的变更日志。客户拿到手第一件事不是看PPT,是拿同一批问句自己重跑一遍,对不上就退回。

回来我把这套做法套到国内一个客户的验收上,当场卡住。合同里只写了「提供GEO优化报告」,没定义什么叫「可复现」。技术说我们跑过了,客户说我看报告挺漂亮,两边都觉得自己没错,但中间那层复现边界是空的。

我的判断很简单:GEO交付如果不可复现,前面所有数字都是自说自话。海外成熟的地方不在于工具多强,在于验收时默认要锁三样东西——问句原文、分母口径、批次ID。国内很多项目连问句池是不是同一版都没对齐,就开始比「AI曝光量」涨了多少,这个涨跌本身没有意义。

具体踩过的坑有两个。一是问题池分母被悄悄换过:第一版200条问句,技术为了救指标把长尾删到130条,报告里只写「覆盖率提升」,不写分母变了。二是batchID缺失,同一天跑了三轮,报告取了最好那轮,但没标是哪一轮,事后想复现都不知道该重跑哪一版。

所以现在我推一个笨办法:验收包必须带一份reproduce.md,写清楚环境、模型、问句版本、跑批批次,客户能照着重跑出同一个数才算数。客户第一反应是嫌重,但两次之后他们自己开始拿这个包来对账了,因为吵架少了。

我的立场没变:GEO在国外已经很成熟,国内要加快步伐——但加快的不是写报告的速度,是把复现口径先写进合同的速度。

想问问大家:你们手上GEO项目的验收合同里,有没有明确写「可复现」这个条款?还是只写了交付报告数量?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。