대규모 언어 모델 (LLMs)
대규모 언어 모델 (LLMs) 을 위한 프레임워크, 도구 및 리소스로, 학습, 추론 (vLLM, llama.cpp) 및 RAG 를 포함합니다.
Repositories
DeepSeek-V3 는 총 6710 억 개의 파라미터를 가지며 토큰당 370 억 개를 활성화하는 강력한 Mixture-of-Experts (MoE) 언어 모델입니다. 멀티헤드 잠재 어텐션, FP8 학습, 멀티 토큰 예측을 채택하여 주요 폐쇄형 모델과 유사한 성능을 달성하면서도 효율적이고 안정적인 학습을 제공합니다.
DeepSeek-R1 은 수학, 코딩, 추론 작업에서 OpenAI-o1 과 유사한 성능을 달성한 차세대 추론 모델입니다. 6710 억 파라미터 MoE 아키텍처를 사용하며 MIT 라이선스로 오픈소스화되었습니다.
Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.
Ollama 는 오픈소스 대형 언어 모델을 로컬에서 실행하고 관리하기 위한 경량 프레임워크입니다. 간단한 CLI 와 REST API 를 제공하며 Llama, Gemma, Mistral 등의 모델을 지원하고 다양한 도구 및 플랫폼과 쉽게 통합하여 AI 애플리케이션을 빠르게 구축할 수 있습니다.
vLLM 은 LLM 추론 및 서빙을 위한 빠르고 사용하기 쉬운 라이브러리입니다. UC 버클리에서 개발되었으며, PagedAttention 을 통한 효율적인 메모리 관리, 연속 배치 처리, Hugging Face 모델과의 원활한 통합을 제공합니다.
LangChain 은 에이전트와 LLM 기반 애플리케이션을 구축하기 위한 프레임워크입니다. 상호 운용 가능한 구성 요소와 타사 통합을 연결하여 AI 애플리케이션 개발을 단순화하고 기술 발전에 대응할 수 있도록 지원합니다.
The definitive Web UI for local AI, with powerful features and easy setup.
Open WebUI 는 완전히 오프라인으로 작동하도록 설계된 확장 가능하고 기능이 풍부하며 사용자 친화적인 자체 호스팅 AI 플랫폼입니다. Ollama 및 OpenAI 호환 API 등 다양한 LLM 러너를 지원하며, RAG 를 위한 내장 추론 엔진을 갖추고 있습니다.
GPT4All 은 일반적인 데스크톱과 노트북에서 대규모 언어 모델 (LLM) 을 비공개로 실행할 수 있는 오픈소스 생태계입니다. API 호출이나 GPU 가 필요 없으며, 앱만 다운로드하면 로컬 AI 모델과 채팅을 시작할 수 있습니다.
为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
