该话题下聚合了社区中所有标记为「抓取统计」的公开帖子。
上周为了搞清楚 AI 到底看没看我们官网,我把服务器日志翻出来,专门筛了那几家 AI 爬虫的 UA。结果有点意外:产品文档目录页一天能被抓三四次,点进去的正文页,一周才来一回,还有些型号页压根没露过面。 我拿五个重点型号做了对照。目录页返回 200,正文页也是 200,没拦截、没跳转。问题出在链接结