使用jieba进行关键字词提取（基于TF-IDF）

最新推荐文章于 2023-06-27 16:51:05 发布

原创最新推荐文章于 2023-06-27 16:51:05 发布 · 4.4k 阅读

29 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Python笔记

基于TF-IDF的关键词提取

TF-IDF:Term frequency–inverse document frequency

TF-IDF方法通过计算单文本词频（Term Frequency， TF）和逆文本频率指数（Inverse Document Frequency， IDF）得到词语权重，按照权重排序，输出关键字

原理：
TF：如果某个单词在这段文字中出现频率越高，TF越大，说明这个单词对于这段文字越重要
IDF：如果包含词条t的文档越少，也就是n越小，IDF越大，则说明词条t具有很好的类别区分能力
如果某个词出现的频率很高（TF越大），并且在其他文章中很少出现（IDF越大），即TF*IDF越大，则认为这个词适合用来分类，也适合用来当作关键字

python实现

jieba.analyse.extract_tags(string,topK=20,withWeight=True,allowPOS=(" "))
string：待处理语句
topK：返回TF、IDF权重最大的关键字的个数，默认20
withWeight：是否返回权重值，默认false
allowPOS：是否仅返回指定类型，默认为空

import jieba
import jieba.analyse

sentence = "本科及以上学历，计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言，包括SQL。熟悉Linux；"

keywords = jieba.analyse.extract_tags(sentence, topK=20, withWeight=True, allowPOS=('n', 'nr', 'ns'))

for item in keywords:
    print(item[0], item[1])

输出结果

编程语言 1.426971375275
在校生 1.3403279777
硕士 1.1087799663225
计算机 0.85059805386
数学 0.826042559475
专业 0.7741456821725
学校 0.71152323753
重点 0.6565789565175

import jieba
import jieba.analyse

sentence = "本科及以上学历，计算机、数学等相关专业重点学校在校生(硕士为佳)-- 至少掌握一门编程语言，包括SQL。熟悉Linux；"

keywords = jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=('n', 'nr', 'ns'))

for item in keywords:
    print(item)

输出结果

编程语言
在校生
硕士
计算机
数学
专业
学校
重点

词性对照表（allowPOS可选值）
名词 (1个一类，7个二类，5个三类)
名词分为以下子类：
n 名词
nr 人名
nr1 汉语姓氏
nr2 汉语名字
nrj 日语人名
nrf 音译人名
ns 地名
nsf 音译地名
nt 机构团体名
nz 其它专名
nl 名词性惯用语
ng 名词性语素

时间词(1个一类，1个二类)
t 时间词
tg 时间词性语素

处所词(1个一类)
s 处所词

方位词(1个一类)
f 方位词

动词(1个一类，9个二类)
v 动词
vd 副动词
vn 名动词
vshi 动词“是”
vyou 动词“有”
vf 趋向动词
vx 形式动词
vi 不及物动词（内动词）
vl 动词性惯用语
vg 动词性语素

形容词(1个一类，4个二类)
a 形容词
ad 副形词
an 名形词
ag 形容词性语素
al 形容词性惯用语

区别词(1个一类，2个二类)
b 区别词
bl 区别词性惯用语

状态词(1个一类)
z 状态词

代词(1个一类，4个二类，6个三类)
r 代词
rr 人称代词
rz 指示代词
rzt 时间指示代词
rzs 处所指示代词
rzv 谓词性指示代词
ry 疑问代词
ryt 时间疑问代词
rys 处所疑问代词
ryv 谓词性疑问代词
rg 代词性语素

数词(1个一类，1个二类)
m 数词
mq 数量词

量词(1个一类，2个二类)
q 量词
qv 动量词
qt 时量词

副词(1个一类)
d 副词

介词(1个一类，2个二类)
p 介词
pba 介词“把”
pbei 介词“被”

连词(1个一类，1个二类)
c 连词
cc 并列连词

助词(1个一类，15个二类)
u 助词
uzhe 着
ule 了喽
uguo 过
ude1 的底
ude2 地
ude3 得
usuo 所
udeng 等等等云云
uyy 一样一般似的般
udh 的话
uls 来讲来说而言说来
uzhi 之
ulian 连（“连小学生都会”）

叹词(1个一类)
e 叹词

语气词(1个一类)
y 语气词(delete yg)

拟声词(1个一类)
o 拟声词
前缀(1个一类)

h 前缀
后缀(1个一类)
k 后缀

字符串(1个一类，2个二类)
x 字符串
xx 非语素字
xu 网址URL

标点符号(1个一类，16个二类)
w 标点符号
wkz 左括号，全角：（〔［｛《【〖〈半角：( [ { <
wky 右括号，全角：）〕］｝》】〗〉半角： ) ] { >
wyz 左引号，全角：“ ‘ 『
wyy 右引号，全角：” ’ 』
wj 句号，全角：。
ww 问号，全角：？半角：?
wt 叹号，全角：！半角：!
wd 逗号，全角：，半角：,
wf 分号，全角：；半角： ;
wn 顿号，全角：、
wm 冒号，全角：：半角： :
ws 省略号，全角：…… …
wp 破折号，全角：—— －－ ——－半角：— —-
wb 百分号千分号，全角：％ ‰ 半角：%
wh 单位符号，全角：￥＄￡ ° ℃ 半角：$