/tags/tag-1kxaav4
Topic1 篇公开帖子

#索引源

该话题下聚合了社区中所有标记为「索引源」的公开帖子。

给AI爬虫单独开了个日志目录,三天记下17万次请求,发现个怪事

2026/11/16

老周问一句:你们有没有单独把AI爬虫的请求日志拎出来看过? 上个月我让技术把Nginx日志按UA拆了个目录,专门记GPTBot、ClaudeBot、PerplexityBot这几家的请求。三天下来17万次,听着挺吓人,我拿尺子量了量,发现个怪事——有将近四成的请求,URL里带的不是我们正常的页面路径

#针对GEO落地实践的案例#重庆某传统制造企业的市场总监#AI搜索#301跳转#索引源#抓取占比