我拿自家官网的404页面喂了三天AI爬虫，结果AI引用里跳出来的全是竞品

上周我们站改版，技术把一批旧产品页直接301到了首页，我当时没在意，觉得反正权重能传过去就行。

结果周三我照例去ChatGPT和Perplexity里搜我们品牌名+核心产品词，发现AI引用的来源页里，有三个居然是我们早就删掉的旧URL，而且那三个页面现在返回的是404。更离谱的是，同一个回答里AI还带出了竞品的官网链接，位置比我方还靠前。

我当时就炸了，拉着技术把过去72小时的爬虫日志拉出来。我们站被AI爬虫（主要是GPTBot和PerplexityBot）抓了大概1100多次，其中打到404页面的请求占了14%。关键是，这14%里有一半是带着旧产品词参数进来的，也就是说AI那边还记着我们的老URL，但我们的服务器已经告诉它“这东西没了”。

我做了个对照：把其中一个404页面临时改成一个静态的“产品已升级”说明页，里面埋了新的产品词和两个FAQ。三天后，那个旧URL在AI回答里被引用的次数从0跳到了7次，而且竞品链接从3条减到了1条。另外两个没处理的404，引用次数还是0，竞品还在。

我的判断是：AI爬虫对404的处理不是“忘掉”，而是“标记为失效但保留在索引里一段时间”，这段时间里如果它回答相关问题时找不到你家的有效内容，就会顺手把竞品拉进来补位。这不是玄学，是爬取行为留下的空档。

所以我现在给团队定的规矩是：任何下线的产品页，不能直接404，必须留一个静态的收口页，里面写清楚“这个产品现在叫什么、能解决什么问题、去哪看”。哪怕只有一个段落也行。

另外提醒一句，别用JS渲染的404页面去接，我试过一个，GPTBot根本读不到里面的文字，等于白留。

最后问一句：你们有没有查过自己站上那些404页面，在AI回答里现在是被谁补位的？我这边样本还少，想多凑几个案例看看规律。