/posts/ai-robots-txt-3
GEO优化

官网改版后AI答案里品牌名消失,我查了三天发现是robots.txt里一行旧代码惹的祸

山城老周 117 0 45

上个月我们官网改版,设计公司把整站迁到了新CMS,页面加了懒加载,视觉上确实好看多了。结果第二周销售反馈,客户在AI里搜「重庆 工业皮带 厂家」这种问句,答案里翻半天看不到我们名字,之前至少还能挂个第三第四。我第一反应是内容问题,把产品页标题、H2、FAQ全过了一遍,没毛病。

后来我让技术把最近30天的AI爬虫日志拉出来对,发现一个怪事:改版前GPTBot和PerplexityBot每天来爬的量在800到1200次之间,改版后直接掉到个位数。我当时就骂了一句,这哪是内容的事,这是门都进不来了。

查到最后是两处。第一,新CMS默认在robots.txt里加了一行Disallow: /*?,把带参数的URL全挡了,我们产品页的分页和筛选全是这种参数链接,AI爬虫顺藤摸瓜的路直接断了。第二,懒加载的正文在首屏HTML里是空的,得等JS跑完才渲染,AI爬虫大部分不执行JS,抓到的就是一具空壳。

我做了三件事:

  1. 把robots.txt那行删了,单独放行主流AI爬虫的UA段,同时保留后台和搜索页的屏蔽。上线后第四天,GPTBot的日请求量回到900多,跟改版前基本持平。
  2. 产品详情页首屏改成服务端渲染,懒加载只留给图片和评价模块,正文和参数表必须在HTML里能直接读到。改完抽查了20个页面,AI抓到的文本长度平均从不到200字恢复到1400字左右。
  3. 加了个监控,每周一早上自动跑一遍:site:我们域名在三个主流AI搜索里问同一组10个问句,记录品牌名出现位置。连续盯了四周,品牌提及从0/10回到6/10,没花钱投流,纯是让爬虫能进来。

踩的坑也讲一下:改版验收清单里我当初加了一条「移动端首屏加载<2秒」,但没加「AI爬虫可读性」这一项,设计公司当然不会管你爬虫能不能读到。现在我把这条写进验收模板了,具体就三行:robots.txt变更需报备、核心页面禁用纯JS渲染正文、上线后48小时抽查AI爬虫日志。

说句实在话,外面那些工具吹得凶,这种问题它们大多扫不出来,还得自己翻日志。工具能帮你查问句库、看竞品,但底层抓取通不通,靠的是人盯。

问一句:你们官网改版的时候,验收清单里有没有把AI爬虫可读性写进去?还是跟我一样,等销售反馈了才回头查?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。