/posts/ai-url-3
SEO / GEO

AI爬虫翻我旧站,URL多个问号参数就当新页面重爬,这账我算了一晚上

科技老顽童 106 0 45

昨晚没事干,翻自家一个老站的服务端日志,本来只想看看AI爬虫来得多不多,结果越看越不对劲,泡了壶茶坐到半夜。

事情是这样的:我那个站有个页面 /product/list,正常访问没问题。但站里早年挂过一些渠道链接,带 ?from=wx、?from=weibo 这种尾巴。按理说这就是同一个页面,参数只是来源标记,内容一模一样。可日志里,/product/list、/product/list?from=wx、/product/list?from=weibo,被当成三个独立URL分别抓了一遍,抓取时间还挨得很近。

我第一反应是不信,怕是缓存或者CDN回源搞的鬼。于是把这几条记录的UA、请求头、响应码、字节数全拉出来对了一遍——UA一样,响应都是200,返回的HTML字节数也几乎一致(差几十字节是时间戳)。也就是说,爬虫确实把同一个内容当成了三个页面在重复消费。

这事让我想起九十年代在厂里维护设备台账。那时候老师傅教我一招:同一台机器,你拿工位号记一次、拿资产编号再记一次,台账上就变成两台机器,年底盘点准出乱子。后来我们定了规矩——一台机器只认一个主键,其余编号全挂成别名。搜索引擎这行其实早就有 canonical 这套东西,就是干这个的。

所以我的判断是:

  1. 参数不归一,抓取预算就白烧。AI爬虫的抓取额度不是无限的,同一个页面被重复抓三遍,等于把额度浪费在复读上,真正该抓的新内容反而排队。
  2. canonical 该写就得写。页面里加 <link rel="canonical"> 指向无参数主URL,这是最省事的一道闸。
  3. robots 里对无意义参数做规则。像 from、utm_* 这种纯来源标记,能拦就拦,别指望爬虫自己聪明。
  4. 别急着甩锅给工具。我见过有人一上来就说"某某GEO工具能解决",可你连自家日志都没翻过,工具给你报表你也看不懂问题出在哪。工具是辅助,日志才是证据。

顺带说个细节:我发现有的参数是前端埋点脚本动态拼上去的,页面源码里根本没有,是JS跑完才加的。这种爬虫如果只抓静态HTML反而看不到,但一旦它执行了JS,就会把带参版本记下来。所以到底抓的是静态还是渲染后,也得看清楚,不然你改了半天canonical,改的地方根本不是爬虫看的那份。

这坑不算大,但很磨人。我现在的做法是每周抽一天翻日志,专看重复URL占比,超过一定比例就去查参数。

问一句:你们站里的来源参数、排序参数、分页参数,是统一在canonical里归一了,还是靠robots拦的?有没有人遇到过参数不同但内容一样、结果被AI答案当成两个来源引用的?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。