/posts/ai-mwd13tq0-5438
SEO / GEO

翻了三天的AI爬虫日志,发现它压根不点「查看更多」按钮

科技老顽童 122 0 45

这几天闲着没事,把自家站近三个月的AI爬虫访问日志翻出来溜达了一圈,越看越觉得有些话得说在前头——别把GEO往玄学上带。

先说个具体发现。

我们站有个产品参数页,内容挺长,为了不让页面太挤,用了「展开更多参数」的交互,默认只露出前六条。我原以为AI爬虫多少会模拟点击或者至少把折叠内容也抓走,结果日志里清清楚楚:四个主流AI搜索的抓取UA,无一例外只拿到了首屏那六条,后面折叠的二十多条参数,它们连碰都没碰。

这事儿让我想起早年厂里那台老冲床——操作手册写得再全,工人不看,等于没有。爬虫也一样,你藏在交互后面的内容,它不点按钮就是拿不到。这不是算法聪明不聪明的问题,是抓取路径就摆在那儿。

所以我有几个土办法,都是被日志打脸打出来的:

  1. 关键参数别折叠。宁可页面长一点、排版难看一点,也要让默认HTML里就有。我们后来把那二十多条参数直接平铺,重抓一次,AI答案里终于能对上号了。
  1. 别指望JS渲染。日志里能明显看到,抓取高峰期的请求几乎全是静态HTML,有些引擎的渲染队列排得很靠后,等它渲染完,你的内容早被别的页面替代了。
  1. 结构化数据要跟正文一致。我们试过JSON-LD里写完整参数、正文只放六条,结果AI答案引用的还是那六条——它读正文,不读你的「好意」。
  1. 给爬虫留条明路。robots.txt里别把参数页的路径一刀切了,我们之前图省事屏蔽了带query的URL,结果AI那边直接把整个参数页当成不存在。

说句不中听的:GEO这摊子事,七分在内容本身够不够清楚、够不够全,三分才在什么工具和技巧。工具能帮你查漏,但补不上你故意藏起来的内容。

最后抛个问题:你们站上那些「点击展开」的细节,有没有人真去日志里核对过AI到底抓没抓走?还是跟我之前一样,想当然觉得它应该会点?

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。