自然語言處理與文字處理

hankcs / HanLP

HanLP：面向工業應用的多語言自然語言處理工具包，提供中文分詞、詞性標註、命名實體識別、依存句法分析等功能，支援深度學習和統計模型。

fxsjy / jieba

結巴中文分詞是Python中最優秀的中文分詞庫，支援精確、全模式、搜尋引擎和Paddle四種分詞模式，提供詞性標註、關鍵詞提取、自定義詞典等功能，適合自然語言處理和搜尋引擎應用。

explosion / spaCy

spaCy 是一個用於 Python 和 Cython 的高級自然語言處理庫，具備業界領先的速度和神經網絡模型，支持 70 多種語言的斷詞、命名實體識別、文本分類和依存句法分析等任務。它兼容 BERT 等預訓練 Transformer 模型，提供生產級訓練系統，並支持便捷的模型部署與工作流管理。

facebookresearch / fastText

FastText是Facebook Research開發的高效文本表示學習和分類庫，支援子詞資訊處理、多語言模型，提供157種語言的預訓練詞向量，適用於情感分析、文本分類等自然語言處理任務。

sebastianruder / NLP-progress

追蹤自然語言處理領域進展的綜合性資源庫，涵蓋50多種NLP任務的多語言基準數據集、性能指標和頂尖研究成果，為機器學習從業者提供權威參考。