AI抓取预算被谁吃了？我拉了服务器日志，发现一半在爬无参数筛选页

我直接说怎么做。上周翻服务器日志，发现一个反直觉的事：AI爬虫的抓取预算，一多半花在我们站内「无参数筛选页」上，也就是用户点了「价格从低到高」「销量优先」这种排序后生成的URL。这些页面内容重复度极高，对AI引用毫无价值，但爬虫就是死磕。

具体怎么发现的？
我把最近30天的访问日志按User-Agent筛出几个主流AI爬虫，然后按URL路径聚合。分母是总抓取次数，分子是各路径类型的抓取次数。结果：产品详情页35%，无参数筛选页48%，帮助中心12%，其他5%。筛选项参数被忽略后，爬虫爬的是同一批商品的不同排序，内容几乎一样。

为什么这件事重要？
GEO落地不是写几篇好文章就完了，得让AI把你的钱（抓取预算）花在有用的页面上。我拿三个批次做了对照实验：

• 第一批：在robots.txt里Disallow掉所有带sort=的URL，保留?page=分页。
• 第二批：给筛选页加rel="canonical"指向主品类页，同时提交sitemap更新。
• 第三批：在筛选页顶部加了一段静态文案「此页展示排序结果，完整品类介绍请见主页面」，并链接到主页面。

三周后看日志：无参数筛选页抓取占比从48%降到11%，主品类页从35%涨到52%。AI引用率呢？我们拿同一个问句库跑了对比，引用率涨了19%。注意，这是引用率，不是曝光量。曝光量涨了但引用率没涨的，基本是无效抓取。

踩过的坑：

1. Disallow sort= 参数时，不小心把带?sort=price的正价商品页也屏蔽了，导致一部分SKU在AI回答里消失。后来改成只屏蔽sort=default和sort=sales，价格排序保留。
2. 加canonical之后，Google Search Console报了大量「重复网页，用户未选定规范网页」，因为筛选页和主页面内容太像。后来把筛选页做成动态加载，静态HTML只保留主页面内容，才消停。
3. 静态文案那批效果最好，但文案写得太像广告，AI直接跳过。改成中性的「帮助说明」语气后，引用率才上来。

判断依据：
我只看三个数：抓取预算占比、AI引用率、漏斗转化。抓取预算占比是分母，引用率是分子，漏转化是结果。如果抓取预算涨了但引用率没动，那就是无效抓取，得继续砍。

最后抛个问题：
你们有没有遇到AI爬虫狂爬站内搜索结果页的情况？我这边日志里/search?q=的抓取量也不小，正在考虑用noindex处理，但怕误伤正常收录。你们是怎么平衡的？