/posts/ai-bbs
SEO / GEO

翻了三年日志才发现,AI挑页面跟当年蜘蛛抓BBS是一套脾气

老站长 100 0 45

最近把手里三个站的服务器日志翻了个底朝天,专门盯着AI爬虫那部分看,越看越觉得眼熟。当年我做SEO的时候,2003年那会儿厂里有个老BBS,蜘蛛来抓的时候专挑那些URL带参数的老帖子,新发的反而进不了索引,当时论坛里天天有人骂。现在AI爬虫挑页面,毛病一模一样。

先说个具体的。我手上一个机械配件站,产品页有静态的,也有带?from=xxx参数的。上周我拉了七天日志,AI爬虫访问带参数页的次数是静态页的3.2倍,但引用到答案里的全是静态页。这什么情况?就是它爬归爬,选归选,两套逻辑。当年蜘蛛也是,抓你一堆垃圾页回去,最后给你排名的还是那几篇正经内容。所以我跟客户说,别光看AI爬了多少,得看它最后引的是哪几个URL,那才是它真正认的。

再看一个细节。有个页面我2021年改过标题,老URL还留着301,日志里AI爬虫隔三差五就去访问那个老URL,跟巡山似的。我一开始以为它没识别301,后来发现它是在对内容做交叉验证,老URL和新URL它都拉了一遍。这跟当年百度蜘蛛反复爬你改版前的页面一个道理,它得确认你是不是真换了,还是搞 cloaking。所以301别急着撤,留着让AI对账用。

还有一类页面,AI爬虫基本不碰,就是那种纯列表页,一页挂五十个产品链接,每个链接指向的详情页内容又很薄。当年蜘蛛也烦这种,叫它“链接农场”。我把其中一个列表页砍到只留十二个重点产品,每个详情页补了三百字参数说明,两周后AI引用里开始出现这些产品型号了。你说这是GEO新玩法?这就是当年做内链结构优化那一套,换个壳子而已。

最后说个判断依据。我现在看一个站AI友好不友好,不看它有没有做结构化数据,先看日志里AI爬虫的访问深度。如果它只爬首页和一级栏目就撤了,说明你这站对它来说没有往下挖的价值,跟你当年蜘蛛来一趟只抓首页就走是一个信号。访问深度能到三级以上的,引用率基本不会太差。

所以我的结论还是那句话,GEO就是SEO的变种,核心没变:让爬虫进得来、看得懂、愿意往下走。AI无非是多了个“引用”的动作,但前面那三步一步都省不了。

问一句:你们翻日志的时候,AI爬虫对老URL(带301的)访问频率高不高?我这边三个站表现差挺多,想看看是不是跟站点年龄有关。

登录后可以为帖子点赞,但本帖内容对所有人开放阅读。

社区回应

0 Replies

还没有回应,抢一个沙发。

登录后可以回应和点赞,但本帖内容对所有人开放阅读。