大型語言模型 (LLMs)

ollama / ollama

Ollama 是一個輕量級框架，用於在本地運行和管理開源大語言模型。它提供簡潔的命令行工具和 REST API，支援 Llama、Gemma、Mistral 等模型，可輕鬆整合到各種開發工具和平台中，讓開發者快速建構本地 AI 應用。

langchain-ai / langchain

LangChain 是一個用於建構智慧代理和大語言模型驅動應用程式的框架。它透過連接可互通的元件和第三方整合，簡化 AI 應用程式開發，並幫助開發者在技術快速演進時保持靈活性。

open-webui / open-webui

Open WebUI 是一個可擴展、功能豐富且使用者友善的自託管 AI 平台，設計為完全離線運作。它支援 Ollama 和 OpenAI 相容 API 等多種 LLM 運行器，內建 RAG 推理引擎，是強大的 AI 部署解決方案。

deepseek-ai / DeepSeek-V3

DeepSeek-V3 是一款強大的混合專家（MoE）語言模型，總參數量 671B，每個 token 激活 37B 參數。採用多頭潛在注意力機制、FP8 混合精度訓練和多 token 預測技術，在多項基準測試中超越其他開源模型，性能媲美領先閉源模型，同時保持高效穩定的訓練過程。

deepseek-ai / DeepSeek-R1

DeepSeek-R1 是深度求索推出的首代理性推理模型，在數學、程式碼和推理任務上性能對標 OpenAI-o1。該模型擁有 671B 參數 MoE 架構，開源了完整模型權重及 6 個蒸餾版本，採用 MIT 協議支援商用。

nomic-ai / gpt4all

GPT4All 是一個開源專案，讓你能在一般電腦和筆記型電腦上私密執行大型語言模型（LLM）。無需 API 呼叫或 GPU，只需下載應用程式即可開始與本地 AI 模型對話，資料完全保留在本地。

vllm-project / vllm

vLLM 是一個快速且易於使用的大型語言模型推理與服務函式庫。最初由加州大學柏克萊分校開發，具備業界領先的吞吐量、基於 PagedAttention 的高效記憶體管理、連續批次處理功能，並與 Hugging Face 模型無縫整合。

binary-husky / gpt_academic

專為學術研究優化的AI助手，支援GPT/GLM/通義千問/DeepSeek等多種大模型。提供論文翻譯潤色、代碼解析、學術寫作等專業功能，採用模組化插件設計和自定義快捷操作。

meta-llama / llama

Meta官方Llama 2推理程式碼倉庫。提供載入和運行Llama模型（7B-70B參數）的最小實現，支援文本補全和聊天應用。包含模型權重、分詞器和本地部署範例腳本。

xai-org / grok-1

xAI的Grok-1：3140億參數專家混合模型，提供JAX實現。開源權重和架構，支援高級AI研究和部署。

run-llama / llama_index

LlamaIndex 是一個開源數據框架，用於構建基於大語言模型的應用程式，特別專注於檢索增強生成（RAG）。提供數據連接器、索引工具和查詢介面，讓LLM能夠存取私有數據。

microsoft / BitNet

微軟官方推出的1位大語言模型推理框架，提供CPU和GPU上的快速無損推理，具備優化的內核，支援高效的邊緣設備部署。

HKUDS / LightRAG

LightRAG是一個輕量高效的檢索增強生成框架，整合知識圖譜和向量檢索技術，支援多模態文件處理、多種儲存後端，並提供API和Web UI介面。

QwenLM / Qwen3

Qwen3是阿里巴巴雲開發的開源大型語言模型系列，具備思維/非思維雙模式切換、100萬token超長上下文、多語言支援和業界領先的推理能力，適用於複雜問題求解。

huggingface / open-r1

Open R1 是一個開源復現 DeepSeek-R1 推理能力的專案，提供完整的訓練流程、評估腳本和資料集，支援監督微調、GRPO強化學習和資料生成，推動透明AI推理模型發展。

SillyTavern / SillyTavern

專為進階使用者設計的本地LLM前端工具，支援多種AI API、圖像生成、語音合成和深度自定義功能，提供沉浸式角色扮演體驗。