Topic1 篇公开帖子

#中文分词

该话题下聚合了社区中所有标记为「中文分词」的公开帖子。

我把GEO问句里的「的」字删了，空回答从37条掉到4条，分词锅真不在工具

上周跑批，43条问句里有37条AI给的是空回答，我第一反应是工具又出幺蛾子了。结果把日志拉出来一条一条对，发现个怪事：这37条问句里，有31条都带「的」字，而且「的」前面基本都是两个字的词，后面接三到四个字——比如「重庆的制造企业哪家做非标件好」这种。我当时就怀疑是分词把问句切碎了。拿两套库对照跑