jieba分词支持关键词带空格和特殊字符

wangpei1949

关注

原创最新推荐文章于 2026-08-29 10:14:34 发布 1.4w 阅读 AI 写同款· GEO 优化 ›

小红书评论数据挖掘实战：从分词统计到词云可视化本文详细介绍了小红书评论数据挖掘的全流程，从数据清洗、分词统计到词云可视化。通过Python的jieba分词和WordCloud工具，结合pandas数据处理，实现高效的文本分析。文章还涵盖情感分析和自动化报告生成，帮助读者快速掌握数据挖掘技巧，提升业务洞察能力。阅读详情

　　在默认情况下，当关键词中带有空格或特殊字符，如World Economic Forum，用jieba分词，会将该词分成三个词：World，Economic，Forum。

#默认jieba：
import jieba
jieba.load_userdict("dict/userDict")
str1="People's Republic of China is the only legitimate 　government in China."
str2="World Economic Forum"
str3="Edu Trust认证"
for w in jieba.cut(str2):
    print w+" ",
#People  '  s     Republic     of     China     is     the     only     legitimate     government     in     China  . 
#World     Economic     Forum
#Edu     Trust  认证

　　中英文中存在大量这样的专有名词。这种方式有时并不符合我们的需求。我们可以通过改jieba包init.py中几个正则表达式来解决这个问题。用户词典中词词性用@@分隔。
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　1. 搜索
　　　re_han_default = re.compile(“([\u4E00-\u9FD5a-zA-Z0-9+#&._]+)”, re.U)
　　　改成
　　　re_han_default = re.compile(“(.+)”, re.U)
　　　
　　2. 搜索
　　　re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?＄’, re.U)
　　　改成
　　　re_userdict = re.compile(‘^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$’, re.U)
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　3. 搜索
　　　word, freq = line.split(’ ‘)[:2]
　　　改成
　　　word, freq = line.split(‘\u0040\u0040’)[:2]
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　4.补充：若用全模式继续改。
　　　搜索
　　　re_han_cut_all = re.compile(“([\u4E00-\u9FD5]+)”, re.U)
　　　改成
　　　re_han_cut_all = re.compile(“(.+)”, re.U)

#修改后测试
userDict：
中华人民共和国@@n
People's Republic of China@@n
World Economic Forum@@n
世界经济论坛@@n
结果：
People's Republic of China     is     the     only     legitimate     government     in     China  .
World Economic Forum
Edu Trust认证

支持英文专有名词的jieba 　init.py

收录于