대규모 언어 모델 (LLMs)

ollama / ollama

Ollama 는 오픈소스 대형 언어 모델을 로컬에서 실행하고 관리하기 위한 경량 프레임워크입니다. 간단한 CLI 와 REST API 를 제공하며 Llama, Gemma, Mistral 등의 모델을 지원하고 다양한 도구 및 플랫폼과 쉽게 통합하여 AI 애플리케이션을 빠르게 구축할 수 있습니다.

langchain-ai / langchain

LangChain 은 에이전트와 LLM 기반 애플리케이션을 구축하기 위한 프레임워크입니다. 상호 운용 가능한 구성 요소와 타사 통합을 연결하여 AI 애플리케이션 개발을 단순화하고 기술 발전에 대응할 수 있도록 지원합니다.

open-webui / open-webui

Open WebUI 는 완전히 오프라인으로 작동하도록 설계된 확장 가능하고 기능이 풍부하며 사용자 친화적인 자체 호스팅 AI 플랫폼입니다. Ollama 및 OpenAI 호환 API 등 다양한 LLM 러너를 지원하며, RAG 를 위한 내장 추론 엔진을 갖추고 있습니다.

deepseek-ai / DeepSeek-V3

DeepSeek-V3 는 총 6710 억 개의 파라미터를 가지며 토큰당 370 억 개를 활성화하는 강력한 Mixture-of-Experts (MoE) 언어 모델입니다. 멀티헤드 잠재 어텐션, FP8 학습, 멀티 토큰 예측을 채택하여 주요 폐쇄형 모델과 유사한 성능을 달성하면서도 효율적이고 안정적인 학습을 제공합니다.

deepseek-ai / DeepSeek-R1

DeepSeek-R1 은 수학, 코딩, 추론 작업에서 OpenAI-o1 과 유사한 성능을 달성한 차세대 추론 모델입니다. 6710 억 파라미터 MoE 아키텍처를 사용하며 MIT 라이선스로 오픈소스화되었습니다.

nomic-ai / gpt4all

GPT4All 은 일반적인 데스크톱과 노트북에서 대규모 언어 모델 (LLM) 을 비공개로 실행할 수 있는 오픈소스 생태계입니다. API 호출이나 GPU 가 필요 없으며, 앱만 다운로드하면 로컬 AI 모델과 채팅을 시작할 수 있습니다.

vllm-project / vllm

vLLM 은 LLM 추론 및 서빙을 위한 빠르고 사용하기 쉬운 라이브러리입니다. UC 버클리에서 개발되었으며, PagedAttention 을 통한 효율적인 메모리 관리, 연속 배치 처리, Hugging Face 모델과의 원활한 통합을 제공합니다.

binary-husky / gpt_academic

학술 연구에 특화된 AI 어시스턴트. GPT/GLM/Qwen/DeepSeek 등 다양한 대형 언어 모델 지원. 논문 번역/교정, 코드 분석, 학술 작성 기능 제공, 모듈형 플러그인 시스템과 사용자 정의 단축키 지원.

meta-llama / llama

Meta 공식 Llama 2 추론 코드 저장소. Llama 모델(7B-70B 매개변수) 로딩 및 실행을 위한 최소 구현을 제공하며, 텍스트 완성 및 채팅 애플리케이션을 지원합니다. 모델 가중치, 토크나이저 및 로컬 배포 예제 스크립트를 포함합니다.

xai-org / grok-1

xAI의 Grok-1: 314B 파라미터 Mixture-of-Experts 모델, JAX 구현 제공. 오픈소스 가중치와 아키텍처로 고급 AI 연구 및 배포 지원.

run-llama / llama_index

LlamaIndex는 검색 증강 생성(RAG)을 통한 LLM 애플리케이션 구축을 위한 오픈소스 데이터 프레임워크입니다. 데이터 커넥터, 인덱싱 도구 및 쿼리 인터페이스를 제공하여 개인 데이터를 LLM과 통합합니다.

microsoft / BitNet

마이크로소프트의 공식 1비트 대규모 언어 모델 추론 프레임워크, CPU와 GPU에서 최적화된 커널로 빠르고 무손실 추론을 제공하며 효율적인 엣지 디바이스 배포를 지원합니다.

HKUDS / LightRAG

LightRAG는 지식 그래프와 벡터 검색을 통합한 경량화된 효율적인 검색 증강 생성 프레임워크입니다. 멀티모달 문서 처리, 다양한 스토리지 백엔드를 지원하며 API와 Web UI 인터페이스를 제공합니다.

QwenLM / Qwen3

Qwen3는 알리바바 클라우드가 개발한 오픈소스 대규모 언어 모델 시리즈로, 사고/비사고 듀얼 모드, 100만 토큰 초장기 컨텍스트, 다국어 지원 및 최신 추론 능력을 특징으로 합니다.

huggingface / open-r1

Open R1은 DeepSeek-R1의 추론 능력을 완전히 재현하는 커뮤니티 주도 프로젝트입니다. SFT, GRPO 및 데이터 생성을 위한 교육 파이프라인, 평가 스크립트 및 데이터 세트를 제공하여 투명한 AI 추론 모델 개발을 가능하게 합니다.

SillyTavern / SillyTavern

파워 유저를 위한 강력한 로컬 LLM 프론트엔드. 다양한 AI API, 이미지 생성, TTS를 지원하며 몰입형 롤플레잉 경험을 위한 광범위한 맞춤 설정 기능을 제공합니다.