GEO优化
凌晨两点翻AI爬虫日志，发现它给URL打分不看内容只看路径层级
51 0 28
先自曝个凌晨踩的坑。昨晚两点多，我本来只想跑个简单的抓取对比，结果日志里冒出来一行让我直接清醒：同一个品牌介绍页，放在 /about 下面和放在 /solutions/industry/about 下面，AI爬虫的抓取频次差了有4倍。我第一反应是内容问题，毕竟我们那个 /about 页面写得确实比较干。但把两版正文换成一样的，甚至把 /about 版写得更好，抓取频次还是没上来。这才意识到问题不在内容，在路径。
我接着把日志按路径深度做了个简单分组：一级路径、二级路径、三级及以下。结果挺反直觉的——二级路径的页面被抓取的概率最高，一级路径反而偏低，三级以下几乎被忽略。我猜AI爬虫在分配抓取预算的时候，可能把路径层级当成了一个轻量的“重要性信号”，或者是它内置的队列调度里，深层路径天然靠后。当然这只是我的猜测，但拿我们站点自己的日志看，这个规律是成立的。
这就带来一个很实际的问题：我们做GEO优化，天天在琢磨问句怎么拆、答案怎么结构化，但路径这种最基础的东西没人管。产品经理最容易犯的错就是信息架构按“我觉得合理”来排，/product/feature/detail 层层嵌套，好看是好看，爬虫可能压根不往下走。
我目前的土办法是把核心页面尽量控制在二级路径以内，然后把原来深层级的页面做个301到浅层路径。但改完发现另一个坑：老链接做了跳转之后，AI答案里引用的还是旧链接，返回404，这个责任算谁的我也还没想明白。
所以想问问各位：你们有没有人专门看过AI爬虫的路径深度和抓取频次关系？是只有我们站点这样，还是普遍现象？如果普遍，那信息架构这块是不是得重新排优先级？
登录后可以为帖子点赞，但本帖内容对所有人开放阅读。