自然言語処理とテキスト処理

hankcs / HanLP

HanLP：産業応用向けの多言語自然言語処理ツールキット。中国語の分かち書き、品詞タグ付け、固有表現認識、依存関係解析などの機能を提供し、深層学習と統計モデルをサポート。

fxsjy / jieba

JiebaはPython用の高性能な中国語テキスト分割ライブラリで、複数の分割モード、品詞タグ付け、キーワード抽出、カスタム辞書機能をサポート。自然言語処理や検索エンジンに最適。

explosion / spaCy

spaCyは、PythonおよびCython用の高度な自然言語処理ライブラリで、70以上の言語に対応したトークン化、固有表現認識、テキスト分類、依存関係解析などのタスクを、最先端の速度とニューラルネットワークモデルで処理します。BERTなどのトランスフォーマーモデルや、本番対応のトレーニングシステム、モデルのデプロイ機能も備えています。

facebookresearch / fastText

FastTextはFacebook Researchが開発した効率的な単語表現学習とテキスト分類ライブラリです。サブワード情報処理、多言語モデルをサポートし、157言語の事前学習済みベクトルを提供し、感情分析やテキスト分類などの自然言語処理タスクに最適です。

sebastianruder / NLP-progress

自然言語処理の進捗を追跡する包括的なリポジトリ。50以上のNLPタスク、多言語ベンチマークデータセット、性能指標、研究論文を提供し、機械学習実践者のための権威ある参考資料です。