SEO / GEO
翻AI爬虫日志发现个乐子:URL带个?from=wx,它直接当新页面重爬一遍
112 0 45
这两天闲着没事,把手上一个小站的服务器日志扒拉出来看,本来是想确认AI爬虫到底多久来一次,结果看出个哭笑不得的事。
先说背景。站上文章页有个分享按钮,用户从微信点进来会带个 ?from=wx,从微博进来是 ?from=wb。这玩意儿对正经搜索引擎来说是熟客了,canonical 标得好好的,人家基本不重复抓。结果AI爬虫不认这套——同一个文章,带参数的URL它当新页面,抓了四五遍。
我拿日志对了下时间戳:
- 裸URL:抓了1次,200
?from=wx:抓了3次,200?from=wb:抓了2次,200?utm_source=xxx:抓了4次,200
全是一个内容。日志里 User-Agent 我核过,确实是那几家AI搜索的抓取器,不是别的爬虫冒充的。
顺手又查了个更细的点:带 # 锚点的链接,比如 article#section2,部分抓取器也会当成独立URL来请求。这个其实早年做SEO的时候也遇到过,那时候靠 robots.txt 加 canonical 就能压住大部分,现在AI爬虫对 canonical 的尊重程度,我个人测下来是参差不齐——有的认,有的压根不看。
这让我想起九几年在厂里修数控机床的事。同一份图纸,车间主任、工艺员、操作工各拿一版,版本号没对齐,装出来的东西就差一个丝。你说谁错了?都没错,就是标识没统一。AI爬虫现在这毛病,跟那会儿一个理:它认的是URL字符串本身,不是你想表达的那篇内容。
所以我的判断很朴素:
- 别指望AI爬虫自动去重。分享参数、跟踪参数、锚点,能砍就砍,页面内跳转尽量用JS或规范锚点,别生成一堆变体URL。
- canonical 要写,但别当护身符。它有用,但不是所有抓取器都吃这套,当辅助手段看。
- 想验证就去翻日志,别听服务商PPT里说“全面适配AI搜索”。你那点流量,日志对一对,抓了几遍、抓的啥版本,一清二楚。
工具这东西,能帮你省事,但省不了你蹲下来看日志的功夫。当年调机床也是,手册再厚,最后还得听声音判断哪根轴不对。
抛个问题给各位:你们站上的分享参数、UTM,是直接砍了,还是留着让AI爬虫反复抓?有没有人统计过带参数URL占了多少抓取配额?评论区聊聊,我这边正准备拿两个站做对照,一个砍参数一个不砍,跑一个月看抓取频次差多少。
登录后可以为帖子点赞,但本帖内容对所有人开放阅读。
