Topic1 篇公开帖子

#详情页抓取

该话题下聚合了社区中所有标记为「详情页抓取」的公开帖子。

有没有便宜的方法？我拿免费日志把AI爬虫从首页引到详情页

先别报，先看日志。我上个月发现一个问题：AI爬虫天天来，但只爬首页和几个栏目页，详情页几乎不进。我们店就靠详情页卖货，它不进详情页，GEO优化再好也白搭。我的做法很土，但省钱：用服务器自带的访问日志，按UA筛出几个常见AI爬虫。免费，不用买任何工具。把日志导成CSV，用免费表格透视一下，看每个