Topic1 篇公开帖子

#路径层级

该话题下聚合了社区中所有标记为「路径层级」的公开帖子。

翻出零几年的日志对比：现在AI爬虫的抓取逻辑，跟当年搜索引擎爬虫其实一个毛病

前几天翻旧硬盘，把2003年那会儿自己记的爬虫日志找出来了，跟最近抓的AI爬虫日志摆一块儿看，嘿，有意思。当年那些爬虫，最爱干的事儿是什么？逮着一个URL路径浅的站就往死里薅，内容写得再好，藏在三级目录底下，它连看都不看一眼。我当时做站，最头疼的就是这个——你文章写得再用心，架不住人家按路径深度给