/tags/tag-3uhewn
Topic1 篇公开帖子

#死链清理

该话题下聚合了社区中所有标记为「死链清理」的公开帖子。

把AI抓取日志按UA分完组,百度蜘蛛和GPTBot抓的页面居然差这么多

2026/11/14

这两天又把服务器日志翻出来筛了一遍。当年我做SEO的时候,日志分析是基本功,2011年那会儿为了看百度蜘蛛的爬行路径,我手画过一张图,哪个目录抓得深、哪个栏目抓得浅,一目了然。现在AI搜索来了,我还是这套笨办法,先把日志按UA分组,结果发现点意思。 具体怎么做的,说细一点。 第一步,把最近30天的a

#针对GEO落地实践的案例#SEO#AI搜索#做了15年SEO的资深站长#爬虫UA分离#AI爬虫UA和真人日志混着看#死链清理