中文词云功能实现

中文词云

前言

词云是一个统计并展示文本关键内容的方式，因为这种表现手法令人印象深刻，对于这种展示方式有了一定的兴趣并进行了学习。

一、词云是什么？

“词云”就是通过形成“关键词云层”或“关键词渲染”，对网络文本中出现频率较高的“关键词”的视觉上的突出。

词云图过滤掉大量的文本信息，使浏览网页者只要一眼扫过文本就可以领略文本的主旨。

二、词云的实现

这里我尝试了对于中文文本的词云功能的实现，主要使用了wordcloud和jieba两个库，由于wordcloud并不直接支持中文词云，因此需要使用jieba进行断词
用jieba断词，小说文本存入"mori.txt"，停用词列表在"stopword.txt"中，断词结果好坏，停用词很重要，需要不断调整补充。

from wordcloud import WordCloud
import jieba

f = open(u'mori.txt','r').read()
##cuttext=" ".join(jieba.cut(f))
cuttext= jieba.cut(f) 
final= [] 
stopwords=open(u'stopword.txt','r').read() 

for seg in cuttext:
    ##seg = seg.encode('utf-8')
    if seg[0] not  in ['0','1','2','3','4','5','6','7','8','9']:##忽略数字
        if seg not in stopwords:
            final.append( seg) ## 列表添加   

font=r"c:/Windows/Fonts/simsun.ttc"##中文显示必须加
wordcloud = WordCloud(font_path=font,background_color="white",width=1000, height=860, margin=2).generate(" ".join(final))
 
import matplotlib.pyplot as plt
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
  wordcloud.to_file('test.png')

经过词云统计得到的效果图如下：

主要的词云功能在上面就已经完成了，下面是词频统计排序，词长排序的代码。用于进行更加详细的数据统计

##统计词频
freqD2 = {}
for word2 in final:
  freqD2[word2] = freqD2.get(word2, 0) + 1 

##按词频排序输出
counter_list = sorted(freqD2.items(), key=lambda x: x[1], reverse=True) 
_2000=counter_list[0][1] + 1
print(_2000)##用于词长词频排序用
fp = open('sort.txt',"w+",encoding='utf-8')
for d in counter_list:
  fp.write(d[0]+':'+str(d[1]))
  fp.write('\n')
fp.close()

##按词长词频排序输出
counter_list = sorted(freqD2.items(), key=lambda x: len(x[0])*_2000+x[1], reverse=True) 
fp = open('sortlen.txt',"w+",encoding='utf-8')
for d in counter_list:
  fp.write(d[0]+':'+str(d[1]))
  fp.write('\n')
fp.close()

总结

以上就是本次的内容，本文主要介绍了词云的实现，通过使用自己的文本文件进行相同的操作可以生成自己的词云结果。