翻出2003年的robots.txt，发现当年防爬虫的思路今天反着用了
前几天整理老硬盘，翻出2003年给单位做的网站备份，里面有份robots.txt，规则写得跟门卫大爷似的：User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
那会儿防爬虫是怕流量被吃、怕内容被扒。现在倒好，天天琢磨怎么让AI爬虫多来几趟，还得给它铺红毯——结构化数据、问答块、sitemap。
这事让我琢磨了好几天。GEO本质上还是内容与算法的博弈，只不过攻守换了位置。以前是“你别来”，现在是“你来啊，往这儿看”。但有个坑我得提醒一句：不少朋友一听说AI爬虫，就急着把整站改成问答体，结果正文被拆得七零八落，老用户点进来一脸懵。我拿自己一个技术博客做了对照：A组保持原文结构，只加FAQ段落；B组全文改成问答体。跑了三周，看后台日志里AI爬虫的抓取频次，A组反而高了约两成。原因不复杂——AI也要看上下文，你把一句话掰成三截，它反而拼不回去。
还有个事得较真。早年那套robots.txt语法，现在不少AI爬虫的UA声明得花里胡哨，什么“compatible; GPTBot/1.0”，乍一看跟浏览器一个模子。我拿日志里的UA字段对了对，发现真正实诚的没几个，有的连个联系地址都不留。你要想判断它是不是正经爬虫，别光看UA，得看它请求的路径和频率——正经爬虫一般按规矩来，不正经的专挑动态参数乱撞。
工具这块，我态度一直没变：辅助而已。市面上那些“一键GEO优化”的插件，我试过几个，生成的FAQ块看着挺像回事，细看全是车轱辘话，AI引用了也等于没引用。历史故事怎么说来着？赵括纸上谈兵，兵书背得滚瓜烂熟，真到长平就露馅了。工具就是那本兵书，能不能打还得看内容底子。
所以我的土办法是：每周抽10条真实问句，手动去搜一遍，看AI答案里引的是谁、引的是哪段。别嫌笨，比看后台那些花哨的“可见度”曲线踏实。
最后抛个问题：你们有没有留意过，同一篇文章里，把关键数据放进表格和写进段落，AI引用的概率差多少？我这边样本还太少，想凑个对照。
