凌晨三点蹲到AI爬虫日志，发现它压根不读我们详情页第三屏以后的内容

凌晨三点，我蹲着看服务器的访问日志，本来只想确认AI爬虫有没有来，结果越看越不对劲。

先说结论：AI爬虫不是不读我们的页面，是读到第三屏以后基本就停了。

我拿一个上线两个月的产品详情页做样本，日志里能清楚看到抓取路径：首屏的标题、卖点、价格区间它都会碰，但滚动到「规格参数」「售后说明」这些第三屏往后的模块，抓取频次断崖式下降。我一开始以为是页面加载慢，后来单独测了加载速度，首屏1.2秒，第三屏内容也都在DOM里，不是懒加载的锅。

我的判断依据是路径层级权重这个点。之前一直在琢磨爬虫打分机制，这次算是有实感了——它更像是按「信息在页面里的位置权重」来分配抓取预算，而不是真把整页读完再挑。换句话说，我们花最多时间打磨的那些细节，可能根本没进它的视野。

踩过的坑说两个：

1. 我原先把「售后政策」放在页面最底部，觉得用户下单前会翻下去看。日志显示这块几乎没被碰过。后来把核心售后承诺往第二屏提了一截，抓取日志里才开始有它的影子。
2. 页面里有个折叠的「参数对比表」，默认收起。我以为DOM在就行，结果抓取里它出现得极少。展开状态和折叠状态下，爬虫的路径完全不一样。

还有一个我自己没想明白的：同一批页面，移动端日志里第三屏以后的抓取比例比桌面端还低。我怀疑跟视口高度和渲染策略有关，但手上样本还不够，不敢下死结论。

所以现在的思路是：别把关键信息押在页面深处，按「爬虫读不读得到」来重排信息优先级，而不是按「用户会不会翻」来排。这个认知差，可能比多写十篇内容都值钱。

想问问大家：你们有没有实测过AI爬虫对「折叠内容」和「页面第三屏以后」的抓取差异？我这边是移动端更明显，想找个对照组验证一下，是不是普遍现象。