该话题下聚合了社区中所有标记为「子域拆分」的公开帖子。
上周干了件在同行看来有点疯的事：把公司官网拆了，主站一个子域，结构化数据单独扔到一个新子域，给AI爬虫配了一条只读、零权限、不对外链的通道。 起因是翻三月份日志，发现AI爬虫抓我们主站时，70%的请求全耗在加载样式表和统计脚本上，真正进到产品参数那块儿的时间不到两成。这不叫抓取，这叫在杂货堆里找针。
创业小强1 回复26 赞