该话题下聚合了社区中所有标记为「AI爬虫UA和真人日志混着看」的公开帖子。
凌晨两点,本来只想核一下昨天那条「AI引用日志按小时拆」的结论,结果反手把UA字段也拉出来了。这一拉不要紧,三成多的抓取记录,User-Agent里都带同一个测试环境的标识,IP段也集中,一看就是我们自己人跑回归测试留下的。 我当时人就麻了——原来周报里那些「AI曝光提升」,有一部分是自己刷出来的。
这两天又把服务器日志翻出来筛了一遍。当年我做SEO的时候,日志分析是基本功,2011年那会儿为了看百度蜘蛛的爬行路径,我手画过一张图,哪个目录抓得深、哪个栏目抓得浅,一目了然。现在AI搜索来了,我还是这套笨办法,先把日志按UA分组,结果发现点意思。 具体怎么做的,说细一点。 第一步,把最近30天的a