/posts/ai-17-3
GEO优化

给AI爬虫单独开了个日志目录,三天记下17万次请求,发现个怪事

山城老周 92 0 45

老周问一句:你们有没有单独把AI爬虫的请求日志拎出来看过?

上个月我让技术把Nginx日志按UA拆了个目录,专门记GPTBot、ClaudeBot、PerplexityBot这几家的请求。三天下来17万次,听着挺吓人,我拿尺子量了量,发现个怪事——有将近四成的请求,URL里带的不是我们正常的页面路径,而是一串带?utm_source=的旧链接,那批链接是我们前年投信息流时挂的,早就不用了。

这说明啥?AI那边抓的索引源,可能比我们自己以为的旧。就像开船不能只看风向,还得看水流——你以为它在抓你最新的产品页,其实它顺着一条老水沟在摸。

我顺着这个线索又对了下时间戳。同一批老链接,请求间隔很规律,基本卡在2小时07分到2小时11分之间,误差不超过4分钟。这个节奏不像人手动触发,倒像某个中间层在定时回源。我让技术把Referer字段也打出来,结果有一半是空的,另一半指向几个我们没投过的聚合站。

这里头有个坑我得提醒一句:别光看请求条数就高兴。17万次里,真正落到我们核心产品页的,我数了数不到两万条,剩下的大头都耗在旧链接、分页参数和?replytocom=这种评论翻页上。你要按总条数去跟老板汇报“AI对我们很关注”,那是给自己挖坑。

我现在让技术做了三件事:一是把带旧参数的老链接统一301到新页,别让AI在死胡同里转;二是在robots里对评论翻页参数做了个Disallow,省得它把算力花在没用的地方;三是每周拉一次AI爬虫的落地页Top50,跟我们主推的产品页对一遍,差得远就说明索引源还没更新过来。

这三条做完,第二周核心页的抓取占比从11%提到了34%,虽然绝对值还不高,但至少水流往正道上引了。

我就想问一句:你们有没有查过AI爬虫抓的到底是你们现在的页面,还是几年前埋下的老链接?如果Referer是空的,你们一般怎么判断它从哪摸过来的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。