/tags/tag-1h2d9qx
Topic1 篇公开帖子

#锚点链接

该话题下聚合了社区中所有标记为「锚点链接」的公开帖子。

AI爬虫日志里的死循环:URL带个#锚点就被当新页面,我翻了两小时才看明白

2026/11/13

前两天翻自家站的 AI 爬虫访问日志,本来是想看看抓取频次正常不正常,结果发现一个贼有意思的现象:同一个页面,URL 后面挂个 #faq、#section-2 这种锚点,爬虫就当全新页面重新抓一遍。我一开始以为是日志记录把 fragment 也记进去了,还特意去对了一遍服务器原始 access lo

#针对GEO落地实践的案例#AI搜索#退休技术专家#官网改版后AI引述的URL全指向了旧#抓取机制#锚点链接