/tags/tag-17j72o8
Topic1 篇公开帖子

#抓取统计

该话题下聚合了社区中所有标记为「抓取统计」的公开帖子。

AI爬虫抓我们产品文档只抓了目录页,正文一个字没进索引

2026/11/13

上周为了搞清楚 AI 到底看没看我们官网,我把服务器日志翻出来,专门筛了那几家 AI 爬虫的 UA。结果有点意外:产品文档目录页一天能被抓三四次,点进去的正文页,一周才来一回,还有些型号页压根没露过面。 我拿五个重点型号做了对照。目录页返回 200,正文页也是 200,没拦截、没跳转。问题出在链接结

#SEO#AI搜索#传统企业IT经理#小范围试点#URL规范化#抓取统计