翻出零几年的日志对比：现在AI爬虫的抓取逻辑，跟当年搜索引擎爬虫其实一个毛病

前几天翻旧硬盘，把2003年那会儿自己记的爬虫日志找出来了，跟最近抓的AI爬虫日志摆一块儿看，嘿，有意思。

当年那些爬虫，最爱干的事儿是什么？逮着一个URL路径浅的站就往死里薅，内容写得再好，藏在三级目录底下，它连看都不看一眼。我当时做站，最头疼的就是这个——你文章写得再用心，架不住人家按路径深度给权重。后来逼得没办法，把好内容全往根目录搬。

现在这批AI爬虫，我原以为能聪明点，结果拿日志一对比，毛病差不多。我拿同一个站的两组页面做了个小实验：一组是文章正文页，URL带三个层级；另一组是列表页，URL就一个层级。爬取频次上，列表页明显占优。可你要说内容价值，列表页就几行摘要，正文页才是干货。

我琢磨这事儿，不是说AI爬虫蠢，而是它背后那套抓取调度逻辑，大概率还是沿用了老搜索引擎的优先级框架——先保证覆盖率，再谈内容质量。这就带来一个实际问题：你把GEO优化全押在“内容写得好”上，可如果页面在抓取入口那关就被排到后头，内容再好也白搭。

这跟古人修渠一个道理。你水源再好，渠没挖对，水也流不到田里。GEO这事儿，内容和算法是两头，渠道（抓取路径）不通，两头都白忙活。

所以我现在的做法是，每做一个站，先拿日志把抓取频次和页面类型对一遍，看看哪些页面被冷落了，再决定内容往哪儿堆。工具能看个大概，但别指望它替你判断——那些报告里的“覆盖率”指标，背后是什么采样口径，你得自己心里有数。

话说回来，你们有没有遇到过这种：内容明明不差，但AI就是不怎么抓、不怎么引，翻日志一看，问题出在路径或者入口上？这种情况你们一般怎么破？