凌晨翻日志发现AI爬虫对超过两屏的内容只抓取摘要，这是否会导致长文白写

凌晨两点多我在翻昨天的爬虫日志，本来是想确认新版详情页有没有被抓全，结果看到一个很扎心的现象：同一条URL，我们详情页正文大约 1800 字，AI爬虫只抓了前 1200 字左右的 token 量就断了，后面那 600 字的小标题加FAQ段落一个字都没进索引。我当时第一反应是抓取深度配置的问题，把 robots 和 sitemap 都翻了一遍，没毛病。

后来我把最近一周的日志按「抓取字符数 / 页面正文字符数」拉了个比例，20 条重点页里，有 13 条抓取比例卡在 60%~70% 之间，剩下 7 条能到 90% 以上。差别在哪？我对比了一下，被抓全的那 7 条，正文前 800 字里都有一张结构化表格或者带编号的步骤列表；没被抓全的，前 800 字基本都是「我们致力于…」这种铺垫段落。

这个发现让我有点焦虑，不搞GEO，等死吗？但更关键的是：我们花两周写的那篇 2500 字深度长文，如果 AI 只读前 60%，后面那些真正有信息量的对比数据、报价区间、售后条款，等于白写。我连夜把那篇文章的结构改了，把结论和参数表提到开头，铺垫全砍掉，第二天重跑一遍，抓取比例从 63% 提到了 89%。

当然样本还太小，20 条说服力不够，我准备再攒一周日志，按页面类型（产品页/文章页/FAQ页）分开统计，看是不是所有长文都有这个「前段优先」的毛病。也想问问各位：你们有没有实测过自家页面被 AI 爬虫抓取的实际字符占比？如果普遍卡在 60% 左右，那长文策略是不是得整个重做，把核心信息全往前压？