/posts/2003-ai-url
SEO / GEO

翻出2003年那套站内搜索日志,才发现AI爬虫连URL里的参数都认不全

科技老顽童 117 0 45

前几天收拾旧硬盘,翻出一份2003年给厂里做站内搜索的日志,Apache格式,一行行都是人肉 grep 出来的。那会儿我们判断爬虫,就认 User-Agent 和请求频率,像 Lucene 早期那批爬虫,规矩得很,robots.txt 读得比员工手册还认真。

后来我顺手对比了现在几个 AI 搜索的抓取记录,发现个挺有意思的事:它们对 URL 参数的处理,比二十年前的爬虫还糙。

举个例子。我们有个产品页,带 ?color=red&size=3 这种筛选参数,老爬虫会乖乖按 canonical 去重。现在 AI 抓取呢?我抽查了 200 多条请求,带参数的 URL 被当成独立页面抓了好几次,返回内容几乎一样。更逗的是,有的请求连 ? 后面的 utm_source 都原样带上,明显是没做规范化。

这让我想起早年厂里老师傅修机器,图纸上标了公差,他偏要拿卡尺量三遍——因为图纸是死的,机器是活的。现在这些 AI 爬虫,连“活”的那一面都还没摸透。

我不是说工具没用,GEO 该做还得做。但别把 AI 蜘蛛想成什么智能体,它就是个带点语义能力的暴力抓取器,参数、分页、锚点,该规范的还得自己规范。

具体到操作上,我建议先干两件事:

  1. 把站内所有带参数的 URL 用 robots.txt 的 Disallow 或者 canonical 收一遍,别指望它自己认。
  2. 翻一下服务器日志,看看 AI 爬虫到底在抓哪些“意料之外”的 URL,这个比看任何工具报表都直接。

最后抛个问题:你们有没有注意过,AI 爬虫对 # 锚点链接是直接忽略还是当成新页面抓?我这边样本太少,还没敢下结论,想听听大家的日志里是啥情况。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。

翻出2003年那套站内搜索日志,才发现AI爬虫连URL里的参数都认不全