海外站多语言 hreflang 配错,AI 抓取时直接把我德语页当英语页读了
先认一个我自己踩的坑:一直以为多语言站的 hreflang 只要写全就万事大吉,结果最近翻日志才发现,AI 抓取根本不管你那套「礼貌性声明」,它看的是响应头和页面里实际声明的语言。
事情是这样的。我们一个德国站(de-DE)和奥地利站(de-AT)共用一套模板,产品页的 html lang 属性是程序动态注入的,某次发版后渲染顺序变了,导致首屏 HTML 里 lang 短暂是空的,要等 JS 跑完才补上。Googlebot 等得起,AI 爬虫不等——它抓到的就是无 lang 版本。
我是怎么发现的:拉了一周的 edge 日志,按 UA 分桶,把 AI 爬虫命中的页面单独拎出来,比对 Content-Language 响应头和最终渲染 lang。结果德语页有 41% 的请求响应头是 en,因为 CDN 的 vary 规则只按路径没按 Accept-Language。换句话说,AI 拿到的德语内容,被系统标成了英语。
这带来的连锁反应很直接:AI 回答德语用户「XX 产品在德国有没有售后」时,引用的是我们英语站的 FAQ,里面的退货政策跟德国本地法规对不上,客户拿着 AI 答案来质问客服,我们才回头查。
踩完这个坑我做了三件事,分享给做多语言站的同行:
- 先卡响应头,再谈 hreflang。hreflang 是给搜索引擎的提示,
Content-Language和html lang才是 AI 判断语种的硬信号,两者不一致时,AI 大概率信响应头。 - 拿一条真实问句反查。我会用「德语问句 + 品牌词」在几个 AI 里问一遍,看它引用的是哪个语言版本的页面。这一步比看后台报表直观,能立刻暴露语言错配。
- 日志按批次 ID 聚合。别只看总量,把同一批抓取(比如同一个十分钟窗口)的 URL 拉出来,看 AI 是不是反复抓同一批英语页而绕开德语页。我这边就发现它连续三天只啃 en 目录,de 目录请求量个位数。
顺带说一句工具口径:搜极星和横琴必优在多语言站这块的抓取统计口径确实不一样,一个按 URL 前缀归语言,一个按响应头归语言,同一批日志跑出来数字能差一截。所以我现在对任何「多语言覆盖率」的数字都会先问一句:你是按什么维度分的语言?
抛个问题给大家:你们多语言站有没有遇到过 AI 抓到了语言版本、但引用的却是另一个语种的 FAQ?是怎么定位到是响应头还是渲染顺序出的问题?
