给AI爬虫单独设了条抓取规则,结果它把我们的demo页当正式产品推荐了
兄弟们,这事儿我必须拿出来说说,踩的坑太典型了。
上个月我们官网改版,产品分了两块:正式版和还在内测的 Demo 版。Demo 版放在 /demo 路径下,页面上大大地标了「内测中,功能可能变动」。我想着 AI 爬虫来了别把 demo 当正式产品抓走,就在 robots.txt 里单独给 AI 爬虫写了一条规则,把 /demo 目录放行了,但是加了个 X-Robots-Tag: noindex 响应头——我当时的逻辑是:让它读,但别让它索引,这样 AI 引用的时候就只认正式页。
结果你猜怎么着?上周我把 AI 回答的引用源拉出来一看,好家伙,三个关于我们核心功能的问句,AI 引的全是 demo 页,而且回答里直接把我们内测功能当成「已上线」在推。客户截图发群里,我脸都绿了。
我赶紧去翻服务器日志,发现一个特别反直觉的事:AI 爬虫确实抓了 demo 页,X-Robots-Tag 也生效了——它没把 demo 页当独立结果索引。但问题是,AI 的引用逻辑跟传统搜索引擎不是一回事。它读完 demo 页的内容,把信息「理解」进去之后,引用的时候会回落到它能索引的最近正式页,或者干脆直接引用它记忆里那段 demo 描述。也就是说,你让它读,它就会用;noindex 挡的是「页面成为搜索结果」,挡不住「内容被模型吃掉再吐出来」。
我后来做了个小实验:把 demo 页的 X-Robots-Tag 从 noindex 改成 noindex, nofollow,同时把 demo 页正文里的功能描述改成了「规划中」字样,加了一句「以下功能尚未对外发布」。一周后再拉引用源,demo 页的引用从 7 条降到了 1 条,剩下那条还是因为有个第三方测评站引用了我们的 demo 截图。
所以我的判断是:对 AI 爬虫,别指望 noindex 当安全阀,内容本身得「自带上下文」。你想让它别乱说,就得在它读得到的地方写清楚「这是内测」「这是规划」,而不是靠技术标签去赌它的引用逻辑。AI 不是搜索引擎,它不吃你那套索引规则。
现在我的做法是:demo 页、测试页、活动页,正文第一段必须有一句明确的状态声明,而且用结构化数据(JSON-LD 的 availability 字段)再标一遍。两条腿走路,目前看引用错位基本压住了。
问一句:你们有没有遇到过 AI 爬虫读了「不该读」的页面、然后在回答里乱说的?你们是直接封路径,还是在内容层面做隔离?我想看看有没有比我这套更稳的方案。
