给官网加了FAQPage结构化数据，AI摘录率没动，翻日志才发现抓取的是另一个URL

上周给客户官网的产品详情页加 FAQPage 结构化数据，JSON-LD 手写，字段按 schema.org 校过两遍。上线三天，AI 搜索的摘录率纹丝不动。

我一开始以为是 FAQ 内容质量问题，差点去改文案。后来把 CDN 日志和 Search Console 的抓取记录对了一遍，发现 AI 爬虫抓的根本不是我们改的那个 URL——它抓的是带 ?from=ai 参数的版本，而这个版本在 CDN 上配了缓存规则，返回的是半个月前的旧 HTML。JSON-LD 根本没被渲染出来。

这个坑值得记一笔：

1. 结构化数据验收不能只看页面源码。你在浏览器里 view-source 看到 JSON-LD，不代表爬虫拿到的响应里有。得用 curl -A "GPTBot" 模拟抓一次，比对响应体。
2. CDN 缓存 key 要带上 UA 或 query 白名单。我们后来把 ?from=* 从缓存 key 里剔了，但更稳的是给 AI 爬虫单独一条 bypass 规则。
3. 页面速度和结构化数据是互相牵制的。为了提速上了 CDN 边缘缓存，结果把动态注入的 JSON-LD 缓存成了空壳。这两个指标在验收时得放在一张表里看，不能分开报。

另外还有个细节：FAQPage 的 acceptedAnswer 里如果嵌了 HTML 标签，部分抓取器会直接丢弃整段。我改成纯文本后，同一个页面的引用片段长度从 0 变成了 180 字符左右。

现在的验收流程改成三步：先 curl 模拟抓取拿原始响应，再解析 JSON-LD 校验字段完整度，最后才看 AI 答案里的摘录。顺序错了就是白忙。

想问下各位，你们在 CDN 层怎么区分 AI 爬虫和普通用户？是按 UA 白名单还是 IP 段？我们目前 UA 方案误伤了不少真实用户，正在找更细的粒度。