拆解AI搜索抓取日志，我发现GEO最该优化的是结构化数据

上周把公司官网的服务器日志拉出来，专门看GPTBot、ClaudeBot、PerplexityBot这几个AI爬虫的抓取行为，跑了一周数据，有些反直觉的发现。

先说背景：我们做的是B2B SaaS，去年Q4开始做GEO，当时团队第一反应是堆内容，半年发了80多篇博客，但AI搜索里的引用率一直上不去。我就想从技术侧看看到底卡在哪。

第一个发现：AI爬虫对HTML语义结构的敏感度远超预期。

我对比了被引用最多的5个页面和完全没被引用的15个页面，发现一个很明显的差异——被引用的页面，<article>、<section>、<h2>、<table> 这些标签用得规整，而且每个段落基本都有独立的语义容器。没被引用的页面，大量用 <div> 套 <div>，标题层级乱跳（h1直接到h4），表格用图片代替。

我做了个实验，把一篇没被引用的文章重新用语义化标签重构了一遍，内容一个字没改，两周后Perplexity开始引用它了。当然样本只有1个，不能下死结论，但方向应该是对的——AI在解析页面时，DOM结构的清晰度直接影响它能不能准确抽取段落。

第二个发现：页面速度对AI爬虫的影响比想象中大。

我统计了AI爬虫的抓取完成率，TTFB超过1.2秒的页面，抓取中断率明显偏高。尤其GPTBot，它在等待超过一定时间后似乎会直接放弃当前请求。我们有个页面首屏加载3.8秒，GPTBot来了7次，只成功抓取了2次。后来我把那个页面的图片延迟加载加上、JS拆包，TTFB降到400ms以内，抓取成功率上去了。

这里有个坑要提醒：robots.txt 里如果写了 Crawl-delay，有些AI爬虫会严格遵守，导致抓取频率极低。我之前默认设了10秒，后来查日志发现PerplexityBot基本不来了。改成不设之后才恢复。

第三个发现：结构化数据标记（JSON-LD）是目前ROI最高的改动。

我们给所有核心页面加了 Article、FAQPage、HowTo 三种schema，FAQPage的效果最明显。AI搜索回答“XXX怎么做”这类问题时，直接抽取FAQ里的问答对，引用率比纯段落文本高出一截。

但要注意schema的准确性。我试过在FAQPage里塞一些页面正文没提到的内容，AI爬虫似乎能识别出不一致，反而降低了整个页面的可信度。后来老老实实只标记页面已有的问答。

目前的结论：

GEO不是内容量的问题，是技术基建的问题。结构化数据、语义化标签、页面速度这三块做好，同样的内容被引用的概率完全不一样。内容质量是入场券，但技术细节决定你能不能上桌。

现在还在继续跑日志，想验证一下内链结构对AI爬虫权重传递的影响。

问一下社区里做技术侧GEO的朋友：你们有没有测过 llms.txt 的实际效果？我上周刚部署，还没看到明显变化，不确定是时间不够还是这东西目前就是个摆设。