自然语言处理与文本处理

hankcs / HanLP

HanLP：面向工业应用的多语言自然语言处理工具包，提供中文分词、词性标注、命名实体识别、依存句法分析等功能，支持深度学习和统计模型。

fxsjy / jieba

结巴中文分词是Python中最优秀的中文分词库，支持精确、全模式、搜索引擎和Paddle四种分词模式，提供词性标注、关键词提取、自定义词典等功能，适合自然语言处理和搜索引擎应用。

explosion / spaCy

spaCy 是一个用于 Python 和 Cython 的高级自然语言处理库，具备业界领先的速度和神经网络模型，支持 70 多种语言的分词、命名实体识别、文本分类和依存句法分析等任务。它兼容 BERT 等预训练 Transformer 模型，提供生产级训练系统，并支持便捷的模型部署与工作流管理。

facebookresearch / fastText

FastText是Facebook Research开发的高效文本表示学习和分类库，支持子词信息处理、多语言模型，提供157种语言的预训练词向量，适用于情感分析、文本分类等自然语言处理任务。

sebastianruder / NLP-progress

追踪自然语言处理领域进展的综合性资源库，涵盖50多种NLP任务的多语言基准数据集、性能指标和顶尖研究成果，为机器学习从业者提供权威参考。