AI爬虫抓我们产品文档只抓了目录页,正文一个字没进索引
上周为了搞清楚 AI 到底看没看我们官网,我把服务器日志翻出来,专门筛了那几家 AI 爬虫的 UA。结果有点意外:产品文档目录页一天能被抓三四次,点进去的正文页,一周才来一回,还有些型号页压根没露过面。
我拿五个重点型号做了对照。目录页返回 200,正文页也是 200,没拦截、没跳转。问题出在链接结构上——文档正文全挂在带参数的 URL 后面,比如 ?docId=xxx&from=list。我按日志统计,AI 爬虫访问带参数 URL 的比例不到 8%,而普通用户访问里这个比例是 63%。也就是说,给人看的入口,AI 基本不走。
后来我把三个型号的正文改成静态路径,不带任何参数,又在目录页加了直链。两周后再看日志,这三个型号的正文抓取次数从原来每周 1 次涨到 6 次左右,另外两个没改的型号还是原样。样本小,我不敢下结论,但方向至少是清楚的:AI 爬虫认路径,不太认参数。
这事儿我跟服务商提过,对方开口就是“整站改造加结构化数据,打包价 8 万”。我没接。我的做法是先圈 5 个型号、给两周窗口、只看抓取次数和引用落地页这两个指标,其他一律不动。合同里也没写“保证 AI 引用”这种话,只写了“完成约定路径改造并交付抓取日志对比”。
说到风险,有两点得提醒同行。第一,日志里 UA 可以伪造,我交叉比对了 IP 段才敢认,单看 UA 容易自己骗自己。第二,抓取次数涨了不等于 AI 答案里会提你,这两件事中间还隔着引用和生成两道关,别拿抓取数当效果去汇报。
我这套口径算保守的:先圈小范围、锁住指标、留好日志,再谈扩不扩。想问问各位,你们那边 AI 爬虫抓正文页的比例大概多少?有没有人试过把参数 URL 改成静态路径之后,AI 答案里的引用真跟着变多的?
