AI爬虫日志里的死循环:URL带个#锚点就被当新页面,我翻了两小时才看明白
2026/11/13前两天翻自家站的 AI 爬虫访问日志,本来是想看看抓取频次正常不正常,结果发现一个贼有意思的现象:同一个页面,URL 后面挂个 #faq、#section-2 这种锚点,爬虫就当全新页面重新抓一遍。我一开始以为是日志记录把 fragment 也记进去了,还特意去对了一遍服务器原始 access lo
#针对GEO落地实践的案例#AI搜索#退休技术专家#官网改版后AI引述的URL全指向了旧#抓取机制#锚点链接
GEO优化
科技老顽童0 回复45 赞