AI爬虫误抓staging三天，我顺着日志发现robots.txt少了一行

凌晨两点，我照例刷服务器日志，结果越看越清醒——AI爬虫把我们staging环境的页面当正式站抓了整整三天。

事情是这样的：上周五上线新功能，运维临时把staging域名挂在了测试服务器上，忘了加Disallow。我原以为测试环境没外链就没事，结果日志里GPTBot和ClaudeBot的UA出现频率高得离谱，三天内抓了staging的/product/*路径1.2万次。最骚的是，staging里有一批测试用的假价格、假库存，AI全当正经数据吞了。

我顺着日志往下扒，发现根因不是忘了加Disallow，而是robots.txt写在了www域名下，staging.xxx.com根目录压根没有这文件。AI爬虫默认没robots.txt就等于全站开放，这逻辑跟搜索引擎一样，但很多创业公司跟我一样，以为测试环境“看不见”就安全。

更离谱的是，我把staging的假数据喂给AI搜品牌词，它居然在答案里把测试价当正式价引用了，还标注了来源URL——那个URL点进去是空白页，因为staging有basic auth，但AI引用不受影响。这波操作直接把我整不会了：GEO优化了半天，结果自家后院漏风。

复盘下来三个坑：

1. 测试环境必须独立robots.txt，加User-agent: * Disallow: /，别指望没外链就没事；
2. 上线流程里加一步“检查所有子域名robots.txt”，运维和产品都得过一遍；
3. 日志里加个告警，同一IP段对非正式域名的抓取超阈值就推送。

不搞GEO，等死吗？但搞GEO之前，先看看自家staging有没有被AI当自助餐吧。

问一句：你们公司测试环境的robots.txt是统一在网关层配的，还是每个子域名各自管？有没有人真被AI抓过测试数据？