官网产品页改版仨月，AI爬虫抓取频次反降四成，我拿日志对了一晚上

老周问一句：你们谁真去后台数过，AI爬虫一天来几趟？

我上周干了件笨事。去年底我们把官网产品页从静态HTML改成了前端渲染，页面是好看了，加载快了三秒，市场部小姑娘还做了动效。结果上个月我调服务器日志一扒，三个主流AI爬虫的抓取频次从改版前日均1800次掉到1100次出头，降了快四成。

开船不能只看风向，还得看水流。前端渲染这阵风是顺的，可AI爬虫这条水流它不认JS。我拿日志按天切了三个批次，批次ID都留着，发现降幅不是一刀切——产品详情页掉得最狠，首页和新闻页基本没动。为啥？详情页的参数表原来写在HTML里，一抓就有；改版后塞进接口异步加载，爬虫走一遍拿不到内容，第二次就不来了。

我做了个对照：把同一批产品页拆成两组，A组保留原样，B组加了个服务端预渲染的静态快照。跑了二十天，B组页面被AI引用的次数是A组的2.7倍，引用里带具体型号参数的占到六成。这个数我才敢拿去跟技术部提。

说句实在话，GEO这事儿不能光听服务商吹“内容优化”，底层抓取都断了，你优化个啥？就像水渠堵了，你光往上游倒水没用。

还有个细节：robots.txt里我们早年加过一条屏蔽参数页的规则，改版时没人记得删。我翻了三个月日志才揪出来，那条规则卡掉了一批带“?model=”的页面。技术总监看了直拍大腿。

所以我现在定了个规矩：每次官网动版，市场部必须拿日志对一遍爬虫抓取曲线，按周比，跌过两成就拉技术开会。别等预算花出去了才发现门是关着的。

问各位一句：你们公司官网改版前后，有谁真去数过AI爬虫的抓取频次变化？是涨了还是跟我一样跌了？跌的那部分，后来怎么补回来的？