GEO落地别光盯页面，我拆了服务器日志才发现抓取预算被图片吃光

我直接说怎么做。上周我把我们官网的服务器日志拉出来，按小时统计 AI 爬虫的请求类型，结果发现一个跟内容质量没关系的问题：图片请求占了总抓取量的 68%，其中一大半是同一个产品图的缩略图反复抓。

起因是运营同事反馈，AI 回答我们产品参数时经常引错规格。我第一反应是内容没写清楚，但把引用日志和抓取日志一对，发现那几页的正文抓取次数一周只有 3 次，而配图抓取有 200 多次。AI 爬虫的抓取预算是有限的，图片把额度吃掉了，正文自然轮不上。

我做了三件事：

第一，把产品页的图片全部改成按需加载，并且用 robots.txt 把 /uploads/thumb/ 这个目录直接屏蔽。注意别把主图也屏蔽了，我一开始手抖写了个 /uploads/ 全禁，结果 AI 回答里连产品图都不显示了，第二天赶紧改回来。

第二，给每个产品页加了一段结构化数据，把规格参数用 JSON-LD 写死。这样即使正文抓取次数少，AI 也能从结构化数据里拿到准确参数。上线三天后，参数引用错误从每周 11 次降到 2 次。

第三，把同一产品的多规格页面做了 canonical 合并。之前我们有 6 个 SKU 各自一个页面，内容 80% 重复，AI 爬虫在几个页面之间来回跳，抓取效率极低。合并成一个页面后，那个页面的正文抓取次数从每周 3 次涨到 19 次。

判断依据很简单：我对比了改动前后两周的日志，正文抓取请求占比从 21% 涨到 47%，AI 回答里引用我们产品页的次数从 8 次涨到 23 次。这些都是服务器日志里能查到的原始记录，不是工具后台的估算值。

踩过的坑也说一下：屏蔽图片目录的规则要写精确，别用通配符把正文路径也误伤了；结构化数据里的参数要和页面正文保持一致，不然 AI 会引用两套矛盾的数据，反而更乱。

现在我想问的是：你们有没有人统计过自家站点的 AI 爬虫抓取预算分配？图片、CSS、JS 这些非正文资源占了多少比例？我怀疑很多站点的正文抓取额度都被静态资源挤掉了，但还没看到有人拿日志数据聊这个。