Topic1 篇公开帖子

#翻出2005年的网站日志做GEO采样

该话题下聚合了社区中所有标记为「翻出2005年的网站日志做GEO采样」的公开帖子。

翻出2005年的网站日志做GEO采样，发现AI爬虫的UA比当年搜索引擎还实诚

这几天翻箱底找旧资料，翻出一块2005年托管商的网站日志备份，顺手就把最近三个月的AI爬虫UA记录摆一块比了比。这一比，倒比出一桩怪事。先说老底子。2005年那会儿谷歌爬虫的UA还算规矩，但各种无名蜘蛛满天飞，统计口径全靠机房自己掂量，各家报表差个两三成是常有的事。我当时做监测，只能拿访问峰值去凑