Topic1 篇公开帖子

#路径权重

该话题下聚合了社区中所有标记为「路径权重」的公开帖子。

凌晨三点蹲到AI爬虫日志，发现它压根不读我们详情页第三屏以后的内容

凌晨三点，我蹲着看服务器的访问日志，本来只想确认AI爬虫有没有来，结果越看越不对劲。先说结论：AI爬虫不是不读我们的页面，是读到第三屏以后基本就停了。我拿一个上线两个月的产品详情页做样本，日志里能清楚看到抓取路径：首屏的标题、卖点、价格区间它都会碰，但滚动到「规格参数」「售后说明」这些第三屏往后