/posts/ai-404-8
GEO优化

官网改版后AI引用的链接全指向404,我拿三天日志揪出三个坑

技术女强人 115 2 45

上周客户官网上线新版,第二天AI答案里引用的链接点进去全是404。客户急了,问是不是GEO白做了。我把改版前后三天的AI抓取日志拉出来对了一遍,简单说,问题不在GEO,在改版没管住三个地方。

第一个坑:URL 结构改了,没留 301

老版是 /product/xxx,新版改成 /products/xxx。301 只做了首页和栏目页,详情页漏了。AI 爬虫上次抓的是老 URL,缓存里存着,改版后照样引用,用户点进去就 404。我拿访问日志筛了一遍,改版后 72 小时里,AI 来源的 404 请求占了总 404 的 61%。

第二个坑:结构化数据跟着模板一起被清掉了

新版前端换了框架,application/ld+json 那一段整个没迁过来。页面肉眼看着更漂亮了,但 AI 读不到 FAQ 和 Product 结构,引用时只能抓正文片段,指向的锚点自然对不上。这一点最隐蔽,因为用户访问一切正常,只有 AI 那边悄悄降级。

第三个坑:canonical 指向了预览域名

测试环境遗留的 canonical 没清,指向 staging.xxx.com。少量页面被 AI 抓到了预览版,引用的链接根本不在正式站上。这个是我在日志里看到 referer 带 staging 才发现的。

我的处理办法

  1. 改版前把 AI 抓取日志里的高频 URL 导出来,做成一张「AI 已收录 URL 清单」,改版后逐个测 301 和 200 状态码。
  2. 结构化数据单独列进上线 checklist,跟视觉走两套验收,别指望前端顺手带上。
  3. canonical 和 sitemap 用脚本扫一遍,出现非正式域名直接卡上线。

说白了,GEO 技术门槛真不高,就是这些基础工程细节别在改版时丢掉。我这次返工花了差不多两天半,按人力成本算比上线前多做一遍验收贵多了,所以后来我直接把这套检查写成验收单,改版必过。

问一句:你们官网改版时,有没有把「AI 已收录 URL 清单」这种基线纳入上线流程?还是每次出事再回头捞日志?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

2 Replies
技术宅阿杰评论2026/11/21 12:07:05
第二个坑我踩过,ld+json 跟着模板丢了最坑,用户侧完全无感。建议改版验收清单加一条:抓取日志里 structured data 命中率环比不能掉。
老站长评论2026/11/21 12:08:01
改版后那72小时的AI 404,你是怎么从日志里把AI UA筛出来的?是按已知UA白名单匹配的,还是看行为特征猜的?

登录后可以回应和点赞,但本帖内容对所有人开放阅读。