jieba分词中的特殊字符处理

关注

翻译最新推荐文章于 2026-08-03 16:48:25 发布 7k 阅读 AI 写同款· GEO 优化 ›

代码总结——jieba分词该函数将_List与c这两个list压缩在了一起，其返回的zip类型（我查了zip(),返回的是元组，但是我用type（）函数来看其返回值却是zip类型）其中的元素似乎是键值对的形式，因为可以转化为字典类型,值得注意的是，_List与c的元素的个数是一样，不然使用zip（）时会报错。这些词语在文本中出现频率高，但通常对文本的语义贡献较小因此在一些文本处理任务中，如文本分类、信息检索等，可以被忽略或剔除，以减少处理的复杂性、提高处理效率和提取更有意义的词汇特征。代码的格式和lambda函数很像，倒置的。阅读详情

最近在做jieba分词的时候出现一个有意思的问题

往词库里面加了TD-523 这个词

然后拆分的时候拆成了TD 523

怀疑是-影响的然后在词库中修改为TD523

正确分出来TD523

但是如果非要拆分出来TD-523 呢

参考下面这篇文章

https://blog.csdn.net/wangpei1949/article/details/57077007

　　中英文中存在大量这样的专有名词。这种方式有时并不符合我们的需求。我们可以通过改jieba包init.py中几个正则表达式来解决这个问题。用户词典中词词性用@@分隔。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　1. 搜索
　　　re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”, re.U)
　　　改成
　　　re_han_default = re.compile(“(.+)”, re.U)
　　　
　　2. 搜索
　　　re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?＄’, re.U)
　　　改成
　　　re_userdict = re.compile(‘^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$’, re.U)
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　3. 搜索
　　　word, freq = line.split(’ ‘)[:2]
　　　改成
　　　word, freq = line.split(‘\u0040\u0040’)[:2]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　4.补充：若用全模式继续改。
　　　搜索
　　　re_han_cut_all = re.compile(“([\u4E00-\u9FD5]+)”, re.U)
　　　改成
　　　re_han_cut_all = re.compile(“(.+)”, re.U)