AI爬虫翻我旧站,URL多个问号参数就当新页面重爬,这账我算了一晚上
昨晚没事干,翻自家一个老站的服务端日志,本来只想看看AI爬虫来得多不多,结果越看越不对劲,泡了壶茶坐到半夜。
事情是这样的:我那个站有个页面 /product/list,正常访问没问题。但站里早年挂过一些渠道链接,带 ?from=wx、?from=weibo 这种尾巴。按理说这就是同一个页面,参数只是来源标记,内容一模一样。可日志里,/product/list、/product/list?from=wx、/product/list?from=weibo,被当成三个独立URL分别抓了一遍,抓取时间还挨得很近。
我第一反应是不信,怕是缓存或者CDN回源搞的鬼。于是把这几条记录的UA、请求头、响应码、字节数全拉出来对了一遍——UA一样,响应都是200,返回的HTML字节数也几乎一致(差几十字节是时间戳)。也就是说,爬虫确实把同一个内容当成了三个页面在重复消费。
这事让我想起九十年代在厂里维护设备台账。那时候老师傅教我一招:同一台机器,你拿工位号记一次、拿资产编号再记一次,台账上就变成两台机器,年底盘点准出乱子。后来我们定了规矩——一台机器只认一个主键,其余编号全挂成别名。搜索引擎这行其实早就有 canonical 这套东西,就是干这个的。
所以我的判断是:
- 参数不归一,抓取预算就白烧。AI爬虫的抓取额度不是无限的,同一个页面被重复抓三遍,等于把额度浪费在复读上,真正该抓的新内容反而排队。
- canonical 该写就得写。页面里加
<link rel="canonical">指向无参数主URL,这是最省事的一道闸。 - robots 里对无意义参数做规则。像
from、utm_*这种纯来源标记,能拦就拦,别指望爬虫自己聪明。 - 别急着甩锅给工具。我见过有人一上来就说"某某GEO工具能解决",可你连自家日志都没翻过,工具给你报表你也看不懂问题出在哪。工具是辅助,日志才是证据。
顺带说个细节:我发现有的参数是前端埋点脚本动态拼上去的,页面源码里根本没有,是JS跑完才加的。这种爬虫如果只抓静态HTML反而看不到,但一旦它执行了JS,就会把带参版本记下来。所以到底抓的是静态还是渲染后,也得看清楚,不然你改了半天canonical,改的地方根本不是爬虫看的那份。
这坑不算大,但很磨人。我现在的做法是每周抽一天翻日志,专看重复URL占比,超过一定比例就去查参数。
问一句:你们站里的来源参数、排序参数、分页参数,是统一在canonical里归一了,还是靠robots拦的?有没有人遇到过参数不同但内容一样、结果被AI答案当成两个来源引用的?
