Topic1 篇公开帖子

#纯文本抓取

该话题下聚合了社区中所有标记为「纯文本抓取」的公开帖子。

扒了半年AI爬虫的robots日志，发现它绕开css和js，专挑纯文本老页面啃

潜水久了，总看到有人把GEO说得玄乎，好像喂点结构化数据就能让AI答案乖乖听话。我翻出这半年的服务器日志，拿AI爬虫和早年搜索引擎蜘蛛的抓取记录做了个对比，发现个挺有意思的老毛病——它跟当年那些蜘蛛一样，不爱啃硬骨头。具体说，我把站点按页面类型分批观察：那些套了三层CSS框架、正文全靠JS渲染的产