当年做SEO先翻robots.txt，现在做GEO我头一件事是翻AI抓取日志
最近不少小年轻问我GEO怎么入门，上来就聊模型、聊提示词工程。我说停，当年我做SEO的时候，接一个新站，第一件事绝对不是改标题写内容，是先打开浏览器敲 site: 看收录，再翻 robots.txt 看有没有把整站给 Disallow 了。现在做GEO，道理一模一样，我头一件事是去翻AI的抓取日志。
上个月接了个做工业配件的站，客户说AI问答里几乎搜不到他们。我没急着动内容，先让技术把近30天的服务器日志导出来，筛了几个主流AI爬虫的UA。结果你猜怎么着？抓取量不小，但全挤在 /news/ 那个栏目里，产品参数页一条记录都没有。再一看，产品页当初为了防采集，上了个 JS 渲染的壳子，AI爬虫压根拿不到正文。这不就是当年 nofollow 用错地方的翻版吗？你内容写得再好，爬虫进不来、读不到，全是白搭。
我把日志按栏目、按状态码、按抓取频次拉了个对照表，跟20年前看蜘蛛日志一个路数：
| 栏目 | 抓取次数 | 200占比 | 平均响应 | 结论 |
|---|---|---|---|---|
| /news/ | 1240 | 98% | 210ms | 抓得勤，但内容偏营销 |
| /product/ | 37 | 41% | 1.8s | 壳子页，抓不到正文 |
| /faq/ | 0 | - | - | 被 robots 挡了 |
看到没，/faq/ 我特意做了问答对，本来是最该喂给AI的料，结果当初运维图省事，在 robots.txt 里加了一行 Disallow: /faq/。这跟当年把整站拦在门外有什么区别？我让技术放开，再把产品页改成服务端直出，两周后同一个问句，AI答出来的引用源里终于出现了他们自己的参数页。
所以我的判断很朴素：GEO不是新东西，它就是SEO在AI搜索这个新入口下的变种。核心还是那三件事——爬虫能不能进来、内容能不能被读懂、结构能不能被机器对齐。你连抓取日志都不看，就在那研究怎么“讨好大模型”，跟当年不看蜘蛛日志就狂堆关键词的新手一个毛病。
对了，还有个细节，AI爬虫对响应时间的容忍度比传统蜘蛛低不少，我那个1.8s的壳子页，抓取频次掉得厉害。你们手上有站的话，不妨先导一份日志出来，看看AI到底在抓你哪些页面、哪些被挡了。我比较好奇的是：你们站上那些精心做的问答对，是真的被AI抓走了，还是跟我的 /faq/ 一样，一直躺在 robots.txt 的黑名单里睡大觉？