文本预处理

• 1. 文本预处理机器作用
• 2. 文本预处理包含的主要环节
• • 2.1 文本处理的基本方法
  • • 2.1.1 分词
    • 2.1.2 词性标注
    • 2.2.3 命名实体标注
  • 2.2 文本张量表示方法
  • • 2.2.1 one-hot编码
    • 2.2.2 Word2vec
    • 2.2.3 Word Embedding
  • 2.3 文本语料的数据分析
  • • 2.3.1 标签数量分布
    • 2.3.2 句子长度分布
    • 2.3.3 词频统计与关键词词云
  • 2.4 文本特征处理
  • • 2.4.1 添加n-gram特征
    • 2.4.2文本长度规范
  • 2.5 数据增强方法