该话题下聚合了社区中所有标记为「语料切块」的公开帖子。
上周跟纽约那边的老同事开sync,他甩给我一个内部结论:语料切块不是越细越好,得看「事实密度」。我听完就上头了,回来拿我们一个客户的产品页试了一轮,结果有点打脸。 先说背景。我们之前按「可引用单元」切块,就是每段只保留一个完整claim,AI摘要命中率确实从9%拉到了34%,这个case我之前帖子里
先泼冷水:别急着调问句库,八成问题出在语料切块粒度上。 上个月接了个内部项目,客户官网有篇8000字的技术白皮书,AI摘要里只抓走了开头两段,后面关于参数对比、适用场景的硬货全没进引用。我一开始以为是索引延迟,蹲了三天日志,发现抓取请求是通的,问题在解析阶段——HTML里大量<div>套<div>,