Topic1 篇公开帖子

#抓取截断

该话题下聚合了社区中所有标记为「抓取截断」的公开帖子。

结构化数据字段加了，AI抓取成功率反而降了，我查日志发现是字段顺序的锅

上周给一个机械配件客户的官网补结构化数据，Product 和 FAQPage 一起上。按常理，字段越全 AI 越容易抓。结果跑了一周日志，发现 AI 爬虫对产品详情页的抓取成功率从 82% 掉到 61%。我先怀疑是页面速度，毕竟 TTFB 从 340ms 涨到 410ms。但单独拿 20 个页面做