文章目录
- 一、 项目需求
- 1.1 语言处理相关库（snownlp，jieba，gensim）
- 1.2 LDA主题模型
- 1.3 相关模型的比较
- 二、代码：
- 2.1 导入数据—评论提取—文本去重
- 2.2 模型构造—情感分析—分词—去除停用
- 2.3 LDA主题分析
一、 项目需求
现在大家进行网购，在购物之前呢，肯定会看下相关商品的评论，看下好评和差评，然后再综合衡量，最后才会决定是否购买相关的商品。对一个指定商品，生产商，卖家，买家认同该商品的哪些优点/不认同那些。
A、电商评论的重要性 ------ 消费者先看评论，然后决定是否下单
B、电商评论太多时遇到的问题--------销量多，评论数大
C、提取有价值的评论----去除灌水评论（例如：好评，东西很好；商品很赞等）
项目的输出：
商品好评–/差评–若干个topic中，其关键词以及权重
1.1 语言处理相关库（snownlp，jieba，gensim）
安装与机器学习，自然语言处理相关库,在Anaconda Prompt 下输入：
pip install snownlp # 处理自然语言库/情感分析
pip install jieba # 中文分词
pip install gensim # 机器学习算法/自然语言相关的功能
gensim.corpora.dictionary.Dictionary的函数 doc2bow(document)
document-->词组成的列表list，这个list中有些词是重复的，也缺少每个词的词频。
需要先用 doc2bow 函数将数据转换成恰当的格式。
1.2 LDA主题模型
比方说，如果一篇文章是在讲狗的，那“狗”和“骨头”等词出现的频率会高些；讲猫的，那“猫”和“鱼”等词出现的频率会高些。在这里，”狗”就是一个topic，”猫”也是一个topic。
词袋模型（bag of words）只考虑频数，不考虑词序，混乱的
LDA (Latent Dirichlet allocation)主题模型
1 已知条件： 某些文档的都是由那些词构成的
2 假定条件： LDA 模型假设每一篇文章都在讲述若干个主题topic，可以人为的设定k 值
3 求解： 通过LDA 模型，可以求出K个主题中，每个主题到底长成什么样子。
- 能做： 求解出K个主题长什么样子
- 不能做：不能人为设定主题，不能人为设定什么是财经，体育，科技。
LDA是无监督学习，模型训练后，每个主题是什么就是什么
LDA 思想
- LDA是一个贝叶斯模型（Bayers model）。之前的朴素贝叶斯只是其中一个。只不过LDA更复杂些
- 在贝叶斯模型中，根据可见 —推出—> 不可见，
例如： 打喷嚏：–>(夏天)可能是呛着了
–>(冬天)可能是感冒了 - LDA模型优点
1 无监督：无需劳心劳力的去对训练数据做标注
2 预处理简单：分词，去停用词
3 参数少，一般只需要设定参数K （K表示一拱多少个主题）
1.3 相关模型的比较
除了LDA技术，SVD(奇异值分解)技术也可以应用于主题模型分析。
技术是相同的，都是采用SVD降维，而且都是处理自然语言中的term-document矩阵。
一般LSI专指索引和搜索领域。
二、代码：
2.1 导入数据—评论提取—文本去重
#导入数据-评论提取
import pandas as pd
inputfile = '.\\data\\huizong.csv' #汇总文件
outputfile = '.\\data\\meidi_jd.txt' #评论提取保存路径
data = pd.read_csv(inputfile,encoding = 'utf-8')
data = data[[u'评论']][data[u'品牌'] == u'美的']
data.to_csv(outputfile,index = False,header = False,encoding = 'utf-8')
#文本去重
inputfile = '.\\data\\meidi_jd.txt' #评论文件
outputfile = '.\\data\\meidi_jd_process_1.txt' #评论处理后保存路径
data = pd.read_csv(inputfile, encoding = 'utf-8', header = None)
data=data.dropna()
l1 = len(data)
data = pd.DataFrame(data[0].unique())
l2 = len(data)
data.to_csv(outputfile, index = False, header = False, encoding = 'utf-8')
print(u'删除了%s条评论。' %(l1 - l2))
#机械压缩去词
def cutword(strs,reverse=False):
s1=[]
s2=[]
s=[]
if reverse :
strs=strs[::-1]
s1.append(strs[0])
for i in strs[1:]:
if i==s1[0] :
if len(s2)==0:
s2.append(i)
else :
if s1==s2:
s2=[]
s2.append(i)
else:
s=s+s1+s2
s1=[]
s2=[]
s1.append(i)
else :
if s1==s2 and len(s1)>=2 and len(s2)>=2:
s=s+s1
s1=[]
s2=[]
s1.append(i)
else:
if len(s2)==0:
s1.append(i)
else :
s2.append(i)
if s1==s2:
s=s+s1
else:
s=s+s1+s2
if reverse :
#print ''.join(s[::-1])
return ''.join(s[::-1])
else:
#print ''.join(s)
return ''.join(s)
data2 = data.iloc < [:,0].apply(cutword)
data2 = data2.apply(cutword,reverse = True)
#短句过滤
data3 = data2[data2.apply(len) >= 4]
2.2 模型构造—情感分析—分词—去除停用
#情感分析
from snownlp import SnowNLP
coms = []
coms = data3.apply(lambda x:SnowNLP(x).sentiments)
data1 = data3[coms >= 0.5] # 大于0.5为积极的情绪词
data2 = data3[coms < 0.5]
#分词
import jieba
mycut = lambda s: ''.join(jieba.cut(s)) # 自定义简单分词函数，分词用空格隔开
data1 = data1.apply(mycut) # 通过广播进行分词，加快速度
data2 = data2.apply(mycut)
#outputfile1 = 'd:/data/example08/meidi_jd_pos_cut.txt'
#outputfile2 = 'd:/data/example08/meidi_jd_neg_cut.txt'
#data1.to_csv(outputfile1,index = False,header = False,encoding = 'utf-8') #保存结果
#data2.to_csv(outputfile2,index = False,header = False,encoding = 'utf-8') #保存结果
#去除停用（与评论无关的词）
stoplist = '.\\data\\stoplist.txt'
stop = pd.read_csv(stoplist,encoding = 'utf-8',
header = None,sep = 'tipdm') #sep设置一个不存在的分割词 tipdm
stop = [' ',''] + list(stop[0]) #Pandas 自动过滤空格符，这里是手动添加
pos = pd.DataFrame(data1[:5000])
neg = pd.DataFrame(data1[:5000])
neg[1] = neg[0].apply(lambda s: s.split(' ')) #定义一个分割词，用apply广播
neg[2] = neg[1].apply(lambda x:[i for i in x if i not in stop]) #逐词判断是否为停用词
pos[1] = neg[0].apply(lambda s: s.split(' '))
pos[2] = neg[1].apply(lambda x [i for i in x if i not in stop])
2.3 LDA主题分析
from gensim import corpora,models
#负面主题分析
neg_dict = corpora.Dictionary(neg[2]) #建立词典
neg_corpus = [neg_dict.doc2bow(i) for i in neg[2]] #建立语料库
neg_lda = models.LdaModel(neg_corpus,num_topics = 3,id2word = neg_dict) #LDA模型训练
for i in range(3):
print('topic' + str(i))
print(neg_lda.print_topic(i)) #输出每个主题
#正面主题分析
pos_dict = corpora.Dictionary(pos[2]) #建立词典
pos_corpus = [pos_dict.doc2bow(i) for i in pos[2]] #建立语料库
pos_lda = models.LdaModel(pos_corpus,num_topics = 3,id2word = pos_dict) #LDA模型训练
for i in range(3):
print('topic' + str(i))
print(pos_lda.print_topic(i)) #输出每个主题
