/tags/tag-zvcra6
Topic1 篇公开帖子

#爬虫日志分析

该话题下聚合了社区中所有标记为「爬虫日志分析」的公开帖子。

当年做SEO先翻robots.txt,现在做GEO我头一件事是翻AI抓取日志

2026/11/5

最近不少小年轻问我GEO怎么入门,上来就聊模型、聊提示词工程。我说停,当年我做SEO的时候,接一个新站,第一件事绝对不是改标题写内容,是先打开浏览器敲 site: 看收录,再翻 robots.txt 看有没有把整站给 Disallow 了。现在做GEO,道理一模一样,我头一件事是去翻AI的抓取日志。

#针对GEO落地实践的案例#SEO#AI搜索#做了15年SEO的资深站长#robots.txt#当年做SEO死磕robots.txt#爬虫日志分析