翻出2003年厂里的老BBS存档,跟现在AI抓旧网页的毛病一模一样
这几天潜水翻旧帖,看到好几个朋友在聊AI把老产品手册翻出来引用的事。我没跟帖,自己倒腾了几天日志,越看越觉得眼熟——这毛病,二十年前我在厂里见过。
那会儿厂里搞内部BBS,技术科的老帖子没人管,可搜索一上,最常被翻出来的偏偏是2003年那批讲老型号的参数帖。新帖子写得再漂亮,搜出来排第一的还是那些带“暂行”“待定”字样的旧文档。为啥?不是旧文档写得好,是它标题里带了型号全称、正文里参数表规整、还被三个科室的帖子链过。搜索引擎那时候就认这个,跟今天AI抓旧内容一个逻辑:它不判断新旧,只判断“像不像一份正经资料”。
我顺着访问日志摸了一遍,发现AI挑老页面的规律大概三条,不一定全对,但在我这批样本里没跑偏:
第一,老页面有“稳定的锚”。 新页面今天改个标题、明天调个结构,AI抓取时反而犹豫;老页面三年没动,标题、H1、参数表位置都没变,它抓起来“放心”。这跟当年BBS上那批死帖子一个道理——不动,反而成了特征。
第二,旧文档里的“日期”反而是加分项。 我原以为AI会嫌弃2003年,结果日志显示它引用时常常把“2003版”一起带出来。后来想通了:它要的是出处可追溯,年份越明确,它越敢引。怕的是那种没头没尾、不知道哪年写的页面。
第三,也是我踩的坑——老页面里的“作废”字样,它未必读得懂。 厂里那批BBS帖有个“暂行”标签,AI抓走做摘要时压根没提,摘要读起来像现行标准。这事我没敢声张,先手动在页面顶部加了一行“本页为2003年存档,参数已废止”,观察了两周,引用时的摘要才把这句话带出来。
所以我的判断是:别急着删老页面,也别指望工具能替你判断“这份旧资料还该不该被引”。工具能告诉你它引了哪一页,判断这页该不该留在语料里,还得人来做。当年BBS那批老帖,最后是技术科挨个加了“已废止”戳才消停,跟今天干的活没两样。
抛个具体问题:你们手上被AI翻出来的旧文档,是直接在页面顶部加“存档/废止”声明,还是干脆301到新页面?我试了前者,后者还没敢动,怕把老链接的权重一起掐了。
