자연어 처리 및 텍스트 처리

hankcs / HanLP

HanLP: 산업 응용을 위한 다국어 자연어 처리 도구 키트로, 중국어 형태소 분석, 품사 태깅, 개체명 인식, 의존 구문 분석 등의 기능을 제공하며 딥러닝과 통계 모델을 지원합니다.

fxsjy / jieba

Jieba는 Python용 강력한 중국어 텍스트 분할 라이브러리로, 여러 분할 모드, 품사 태깅, 키워드 추출 및 사용자 정의 사전 기능을 지원합니다. 자연어 처리 및 검색 엔진 애플리케이션에 이상적입니다.

explosion / spaCy

spaCy 는 Python 및 Cython 용 고급 자연어 처리 (NLP) 라이브러리로, 70 개 이상 언어에 대해 토큰화, 개체명 인식, 텍스트 분류, 구문 분석 등을 위한 최첨단 속도와 신경망 모델을 제공합니다. BERT 와 같은 트랜스포머 모델 지원, 프로덕션용 학습 시스템 및 모델 배포 도구를 갖추고 있습니다.

facebookresearch / fastText

FastText는 Facebook Research에서 개발한 효율적인 단어 표현 학습 및 텍스트 분류 라이브러리입니다. 하위 단어 정보 처리, 다국어 모델을 지원하며 157개 언어의 사전 학습된 벡터를 제공하여 감정 분석 등의 자연어 처리 작업에 이상적입니다.

sebastianruder / NLP-progress

자연어 처리 분야의 진행 상황을 추적하는 포괄적인 저장소로, 50개 이상의 NLP 작업, 다국어 벤치마크 데이터셋, 성능 지표 및 최신 연구 결과를 제공하는 머신러닝 실무자를 위한 권위 있는 참고 자료입니다.