翻出1998年的门户目录结构，发现跟AI抓取路径一个脾气

前两天翻箱底找东西，翻出一张1998年的网站目录规划表，发黄的Excel。当年做门户站，编辑们为「新闻」放一级还是二级吵了半个月。我拿这张表跟现在AI抓取我们站点的日志对了一下，乐了——当年编辑的直觉，跟AI爬虫的路径偏好，居然是一个脾气。

先说当年的判断依据。1998年那会儿没有爬虫日志可看，但编辑们有个土办法：看哪个栏目被报纸转载得多，就把哪个栏目往上一级提。这本质上是猜「读者注意力集中在哪里」。现在呢？AI爬虫不跟你讲情怀，它看的是链接深度和页面结构。

我拉了上周的日志，做了个简单对照：

• 一级目录下的页面，平均被抓取间隔是 2.3小时；
• 二级目录下的页面，间隔拉长到 7.1小时；
• 三级及以下，很多页面干脆一周没动静。

这跟1998年编辑的「一级栏目黄金位」逻辑一模一样，只不过当年靠发行量验证，现在靠爬虫日志验证。

但这里有个坑，跟标题党没关系，跟「结构暗示」有关系。我拿站内一个测试页做了对照：同一个页面，挂在一级目录下和挂在三级目录下，内容一字不差。结果一级目录那版被AI引用了 4次，三级目录那版 0次。注意，这4次引用里，有3次是引用的页面导航部分，不是正文。

这说明啥？AI不光看内容，还看「你把这个内容放在什么位置」。位置本身就在传递信号。这跟当年门户编辑把「头条」放最顶上是一个道理，只不过AI不吃「版面语言」那一套，它吃的是URL结构和内链密度。

再补一个较真的点：我翻了三个不同站点的日志，发现「抓取频率」和「引用频率」不是一回事。有个站一级目录抓得勤，但引用率反而低，因为那个目录下全是导航页和列表页，AI抓了也白抓。所以别一看抓取日志涨了就高兴，得看它抓的是啥页面。

最后抛个具体问题给大家：你们有没有试过，把同一个内容从三级目录挪到一级目录，然后对比AI引用次数的变化？我这边样本还太少，只有两个站，想多凑几个案例看看规律稳不稳。