0
点赞
收藏
分享

微信扫一扫

【文本分类】基于改进TF-IDF特征的中文文本分类系统


摘要:改进TFIDF,提出相似度因子,提高了文本分类准确率。
参考文献:[1]但唐朋,许天成,张姝涵.基于改进TF-IDF特征的中文文本分类系统[J].计算机与数字工程,2020,48(03):556-560.

   😮 最近看了许多有关机器学习的文本分类改进,有一部分论文写的非常差劲,文不知所以,论文中的公式站不住脚,根本无法代码实现,一度使我怀疑是不是自己出了问题。现在已经往基于深度学习的文本分类上转了。

一、引言

  采用 one-hot模型进行文本向量化操作,并利用TF-IDF策略进行向量维度的权重计算。其后对传统TF-IDF策略进行改进并联合基于SVM模型机器学习算法完成自动化文本分类系统的设计。

二、基础算法

2.1、TF-IDF算法【词频-逆文档频】

  可以参考上一篇博客​​【文本分类】基于类信息的TF-IDF权重分析与改进​​。

2.2、改进算法

  传统的TF-IDF算法忽略了相似词对文本分类的影响。[例如,经过训练得到特征词"自然语言处理"对标签"文本分类"有很大贡献度,那么"NLP"作为与"自然语言处理"在某种关系R下的相似词,也应该对标签"文本分类"有很大贡献度]。

  论文提出了对于两个特征词x、y,计算它们的相似度的方法:

【文本分类】基于改进TF-IDF特征的中文文本分类系统_文本分类

其中x、y的shape为(1,n),n为数据集中文本数量。x[i]的含义是特征词x在第i篇文档的频数。

  得到每个特征之间的相似度关系之后,计算相似度因子:

【文本分类】基于改进TF-IDF特征的中文文本分类系统_数据集_02

其中,P表示特征词t在某一个文本d中的频数,Q表示在文本d中与特征词t相似的各个特征的频数和,U是文本d中所有特征的频数和。

  最终,改进的TFIDF的公式为:

【文本分类】基于改进TF-IDF特征的中文文本分类系统_TFIDF_03

三、代码实验

3.1、实验思路

  改进TFIDF算法中存在的参数为:【特征维数相似度大小

  通过调整实验参数,来观察改进TFIDF算法与普通TFIDF算法文本分类准确率之差

3.2、数据集

  数据来源于 ​​https://github.com/cystanford/text_classification​​ 。数据集共包含四个类别,分别为“女性”,“体育”,“文学”,“校园”,原始数据集已经划分了测试集和训练集,并给出了停用词文档。

3.3、实验结果

  5折交叉检验:

【文本分类】基于改进TF-IDF特征的中文文本分类系统_数据集_04


【文本分类】基于改进TF-IDF特征的中文文本分类系统_文本分类_05

【文本分类】基于改进TF-IDF特征的中文文本分类系统_TFIDF_06


【文本分类】基于改进TF-IDF特征的中文文本分类系统_TFIDF_07

获取本项目的源代码

【文本分类】基于改进TF-IDF特征的中文文本分类系统_TFIDF_08


举报

相关推荐

0 条评论