Topic1 篇公开帖子

#问句反推

该话题下聚合了社区中所有标记为「问句反推」的公开帖子。

拿AI爬虫日志对比自家站内搜索词，我发现两边问的根本不是同一批问题

凌晨两点半，我又在翻服务器日志。这次不是看AI爬虫抓了啥，是把它抓取时带的referrer和URL参数跟自家站内搜索的词表对了一遍——结果越看越清醒。先说背景：我们站日均站内搜索大概两千多次，用户搜的词我每周都拉出来看，一直觉得那就是「用户想知道的」。但AI爬虫来的请求里，带参数的落地页URL和它