AI爬虫抓了我客户官网三个月，日志里翻出个跟当年百度快照一个毛病的坑

先说结论：AI爬虫抓取不顺，八成不是你内容写得差，是站点结构把它挡在半道上了。这跟当年我做SEO时百度蜘蛛来了抓不到深层页，是一个毛病换了个壳。

事情是这样。客户是个做工业配件的独立站，上个月开始盯AI搜索里的曝光，一直说"AI根本不提我们"。我没急着改内容，先干老本行——翻服务器日志。

我用的是最笨的办法：awk 按 UA 里的几个 AI 爬虫标识筛出来，先看访问量和状态码分布。三周的数据，拉下来一看，问题浮出来了：

第一，爬虫碰得最多的不是产品页，是分页列表和一堆带参数的筛选链接（?color=&size= 那种）。这味儿太熟了，当年百度蜘蛛被参数页拖死，一模一样。我在 robots.txt 里加了几条 Disallow，把带特定参数的分页全挡掉，让爬虫把配额省到正经产品页上。

第二，产品详情页的正文是 JS 动态渲染的。我拿 curl 直接拉原始 HTML，正文一片空白，就剩个骨架。AI爬虫大多不执行 JS，它看到的就是个空壳页。这跟当年靠 Flash 撑门面的站被搜索引擎判"无内容"是一个下场。我让开发把核心参数和规格说明做了服务端渲染兜底，至少让爬虫在原始 HTML 里能读到人话。

第三，也是最容易忽略的：内链。当年我们讲锚文本，讲的是给蜘蛛铺路、告诉它这页讲什么。现在AI爬虫也是一个逻辑——它顺着链接爬，链接文字就是它判断这页主题的第一手信号。客户站里内链全是"点击查看""了解更多"，等于没给路标。我改成了"XX型号不锈钢法兰规格"这种带实体词的锚文本，两周后日志里那些产品页的抓取频次明显上来了。

顺手还清了个老坑：sitemap 里挂了三千多条 URL，其中一大半是标签页和归档页，lastmod 还是几年前批量生成的假时间。AI爬虫不傻，假 lastmod 用多了它就不信你了，优先级直接往后排。我把 sitemap 砍到只剩真在维护的产品页和分类页，lastmod 改成真实更新时间。

改完这三周，日志里有效产品页的抓取占比从不到两成爬到了六成多。但我不敢说这就是"GEO优化"，说白了还是那套：让爬虫进得来、读得到、知道哪页重要。

有个事我还没想明白，想问问大伙：你们翻 AI 爬虫日志的时候，有没有注意到它对内链锚文本的敏感度，到底跟当年搜索引擎是不是一个量级？我这边样本还太少，想多攒几个站的数据再下判断。