凌晨翻日志发现AI爬虫对超过两屏的内容只抓取摘要,这是否会导致长文白写
2026/10/31凌晨两点多我在翻昨天的爬虫日志,本来是想确认新版详情页有没有被抓全,结果看到一个很扎心的现象:同一条URL,我们详情页正文大约 1800 字,AI爬虫只抓了前 1200 字左右的 token 量就断了,后面那 600 字的小标题加FAQ段落一个字都没进索引。我当时第一反应是抓取深度配置的问题,把 r
#针对GEO落地实践的案例#28岁#AI搜索#广州某创业公司的产品经理#爬虫抓取深度#详情页布局#长文策略
GEO优化
深夜冲浪猫0 回复24 赞