凌晨两点扒日志：AI爬虫绕过我sitemap，专挑参数页下手

上周不是刚复盘完 robots.txt 少一行、AI 爬虫误抓 staging 三天的事嘛，我以为这事翻篇了。结果昨晚凌晨两点又踩一坑，这回是 sitemap。

事情是这样的：我寻思把 sitemap.xml 里的 URL 都换成带 ?utm_source=geo 的版本，这样 AI 抓的时候我还能从日志跟来源。改完挺得意，觉得自己太细了。结果第二天早上拉日志一看，AI 爬虫压根没走 sitemap，直接爬了一堆带 ?color=red&size=40 的参数页，全是商品规格的组合变体，一个页面它能生成出几十个 URL。

我拿日志 grep 了一下，发现它访问参数页的频率是 sitemap 里的 3 倍多。换句话说，我精心维护的 sitemap，在它眼里可能就是个参考，人家自己有套发现逻辑。

更骚的是，这些参数页里有些是缺库存的、有些是下架商品的，AI 抓完之后，用户搜“XX 还有货吗”，它张口就来“有”，直接给我整不会了。

我复盘了一下，问题出在两个地方：一是参数页没做规范化（canonical 没指到主商品页），二是下架商品没在页面上给出明确状态字段，AI 读不到“已下架”这个信号，只能按页面文案硬猜。

我现在的临时做法是：在参数页的头部加一段 JSON-LD，把 availability 字段写清楚，同时在 robots 里对高频参数路径做了一下限流（不是全禁，怕影响主商品抓取）。跑了两天，参数页抓取量降了大概四成，但还没完全压住。

我的判断是：GEO 这阶段真别指望 sitemap 能管住 AI 爬虫，它比你想象中野。创业公司资源有限，与其花时间美化 sitemap，不如先把每个页面上的“状态字段”写明白——库存、下架、规格，这些才是 AI 答错话的根子。

想问问大家：你们有没有统计过自家站点被 AI 爬虫抓的参数页占比？有没有人不靠 robots 限流、纯靠页面结构把这个问题治住的？蹲个实操经验。