结巴分词使用
- 中文分词之结巴分词~~~附使用场景+demo（net）
- jieba分词、自定义词典提取高频词、词性标注及获取词的位置
- jieba分词增加自定义词表
- 词性标注
- [python] 使用Jieba工具中文分词及文本聚类概念
- jieba分词词性标记含义
Toolkits 综合NLP工具包
- THULAC 中文词法分析工具包by 清华 (C++/Java/Python)
- NLPIRby 中科院 (Java)
- LTP 语言技术平台by 哈工大 (C++)
- FudanNLPby 复旦 (Java)
- BosonNLPby Boson (商业API服务)
- HanNLP(Java)
- SnowNLP(Python) Python library for processing Chinese text
- YaYaNLP(Python) 纯python编写的中文自然语言处理包，取名于“牙牙学语”
- DeepNLP(Python) Deep Learning NLP Pipeline implemented on Tensorflow with pretrained Chinese models.
- chinese_nlp(C++ & Python) Chinese Natural Language Processing tools and examples
- Chinese-Annotator(Python) Annotator for Chinese Text Corpus 中文文本标注工具
Popular NLP Toolkits for English/Multi-Language 常用的英文或支持多语言的NLP工具包
- CoreNLPby Stanford (Java)
- NLTK(Python)
- spaCy(Python)
- OpenNLP(Java)
- gensim(Python) Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora.
Chinese Word Segment 中文分词
- Jieba 结巴中文分词(Python) 做最好的 Python 中文分词组件
- kcws 深度学习中文分词(Python) BiLSTM+CRF与IDCNN+CRF
- ID-CNN-CWS(Python) Iterated Dilated Convolutions for Chinese Word Segmentation
- Genius 中文分词(Python) Genius是一个开源的python中文分词组件，采用 CRF(Conditional Random Field)条件随机场算法。
- loso 中文分词(Python)
Information Extraction 信息提取
- MITIE(C++) library and tools for information extraction
- Duckling(Haskell) Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.
- IEPY(Python) IEPY is an open source tool for Information Extraction focused on Relation Extraction.
- Snorkel: A training data creation and management system focused on information extraction
- Neural Relation Extraction implemented with LSTM in TensorFlow
- A neural network model for Chinese named entity recognition
- Information-Extraction-ChineseChinese Named Entity Recognition with IDCNN/biLSTM+CRF, and Relation Extraction with biGRU+2ATT 中文实体识别与关系提取
QA & Chatbot 问答和聊天机器人
- Rasa NLU(Python) turn natural language into structured data
- Rasa Core(Python) machine learning based dialogue engine for conversational software
- Chatterbot(Python) ChatterBot is a machine learning, conversational dialog engine for creating chat bots.
- Chatbot(Python) 基於向量匹配的情境式聊天機器人
- Tipask(PHP) 一款开放源码的PHP问答系统，基于Laravel框架开发，容易扩展，具有强大的负载能力和稳定性。
- QuestionAnsweringSystem(Java) 一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。
- 使用TensorFlow实现的Sequence to Sequence的聊天机器人模型(Python)
- 使用深度学习算法实现的中文阅读理解问答系统(Python)
- DuReader中文阅读理解Baseline代码(Python)
Corpus 中文语料
- 开放知识图谱OpenKG.cn
- 大规模中文概念图谱CN-Probase公众号介绍
- CLDC中文语言资源联盟
- 中文 Wikipedia Dump
- 98年人民日报词性标注库@百度盘
- 百度百科100gb语料@百度盘密码neqs 出处应该是梁斌penny大神
- 搜狗20061127新闻语料(包含分类)@百度盘
- UDChinese(for training spaCy POS)
- 中文word2vec模型
- 中文word2vec模型之维基百科中文使用2017年6月20日中文维基百科语料训练的脚本和模型文件。
- Synonyms:中文近义词工具包基于维基百科中文和word2vec训练的近义词库，封装为python包文件。
- Chinese_conversation_sentimentA Chinese sentiment dataset may be useful for sentiment analysis.
- 中文突发事件语料库Chinese Emergency Corpus
- dgk_lost_conv 中文对白语料chinese conversation corpus
- 用于训练中英文对话系统的语料库Datasets for Training Chatbot System
- 八卦版問答中文語料
- 中国股市公告信息爬取通过python脚本从巨潮网络的服务器获取中国股市（sz,sh）的公告(上市公司和监管机构)
- tushare财经数据接口TuShare是一个免费、开源的python财经数据接口包。
- 保险行业语料库[52nlp介绍Blog] OpenData in insurance area for Machine Learning Tasks
- 最全中华古诗词数据库唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人，21050首词。
- DuReader中文阅读理解数据
- 中文语料小数据包含了中文命名实体识别、中文关系识别、中文阅读理解等一些小量数据
- 中文人名语料库中文姓名,姓氏,名字,称呼,日本人名,翻译人名,英文人名。
- 中文数据预处理材料中文分词词典和中文停用词
- 漢語拆字字典
Organizations 相关中文NLP组织和会议
- 中国中文信息学会
- NLP Conference CalenderMain conferences, journals, workshops and shared tasks in NLP community.
