尝试用bert做文本聚类

关注

VIP免费原创最新推荐文章于 2026-05-23 17:13:16 发布 1.4w 阅读 AI 写同款· GEO 优化 ›

创新实训(10)-提取式文本摘要之bert聚类创新实训(10)-提取式文本摘要之bert聚类 1. 思路使用bert作为预训练模型，利用bert生成的词向量进行下游任务的处理，在这篇论文中使用的是k-means计算词向量分布的重心作为文本摘要的候选句子。可以看作是聚类的一种形式。 2.代码分析基于Pytorch的Transformers框架，使用预训练的Bert模型或者是其他的预训练模型生成词向量，然后使用k-means或者expectation-maximization算法进行聚类。 2.1 简单使用首先先来测试一下readme里给的例子： f 阅读详情

尝试用bert做文本聚类

以前文本聚类多以TF-IDF构建词权重的方法进行，在本文中尝试用bert提取的向量做文本聚类。对于bert模型，尝试提取不同层的特征，尝试对bert做fun-tune，观察相应特征对应的文本聚类的效果

数据

数据使用的是百度2020语言比赛的数据，该数据是标注并分类好的，所以在聚类的情况下，省去了聚类时对k值的搜索，同时可以可以根据标注好的数据和聚类得到的数据比较，从侧面评价聚类的效果

下载地址

https://pan.baidu.com/s/1hIiGutDm73vo7lw31H-tfw 提取码 4gqn

工具和环境

python3 ，bert4keras 0.7.5

强烈推荐苏剑林大佬的bert4keras https://github.com/bojone/bert4keras

使用bert提取特征


from bert4keras.backend import keras
from bert4keras.models import build_transformer_model
from bert4keras.tokenizers import Tokenizer
import numpy as np

config_path = '/root/kg/bert/chinese_L-12_H-768_A-12/bert_config.json'
checkpoint_path = '/root/kg/bert/chinese_L-12_H-768_A-12/bert_model.ckpt'
dict_path = '/root/kg/bert/chinese_L-12_H-768_A-12/vocab.txt'

tokenizer = Tokenizer(dict_path, do_lower_case=True)  # 建立分词器
model = build_transformer_model(config_path, checkpoint_path)  # 建立模型，加载权重

# 编码测试
token_ids, segment_ids = tokenizer.encode(u'语