大型語言模型 (LLMs)
大型語言模型 (LLMs) 相關的框架、工具與資源，涵蓋訓練、推論（vLLM、llama.cpp）及檢索增強生成（RAG）。
Repositories
DeepSeek-V3 是一款強大的混合專家（MoE）語言模型，總參數量 671B，每個 token 激活 37B 參數。採用多頭潛在注意力機制、FP8 混合精度訓練和多 token 預測技術，在多項基準測試中超越其他開源模型，性能媲美領先閉源模型，同時保持高效穩定的訓練過程。
DeepSeek-R1 是深度求索推出的首代理性推理模型，在數學、程式碼和推理任務上性能對標 OpenAI-o1。該模型擁有 671B 參數 MoE 架構，開源了完整模型權重及 6 個蒸餾版本，採用 MIT 協議支援商用。
Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.
Ollama 是一個輕量級框架，用於在本地運行和管理開源大語言模型。它提供簡潔的命令行工具和 REST API，支援 Llama、Gemma、Mistral 等模型，可輕鬆整合到各種開發工具和平台中，讓開發者快速建構本地 AI 應用。
vLLM 是一個快速且易於使用的大型語言模型推理與服務函式庫。最初由加州大學柏克萊分校開發，具備業界領先的吞吐量、基於 PagedAttention 的高效記憶體管理、連續批次處理功能，並與 Hugging Face 模型無縫整合。
LangChain 是一個用於建構智慧代理和大語言模型驅動應用程式的框架。它透過連接可互通的元件和第三方整合，簡化 AI 應用程式開發，並幫助開發者在技術快速演進時保持靈活性。
LlamaIndex is the leading document agent and OCR platform
The definitive Web UI for local AI, with powerful features and easy setup.
Open WebUI 是一個可擴展、功能豐富且使用者友善的自託管 AI 平台，設計為完全離線運作。它支援 Ollama 和 OpenAI 相容 API 等多種 LLM 運行器，內建 RAG 推理引擎，是強大的 AI 部署解決方案。
GPT4All 是一個開源專案，讓你能在一般電腦和筆記型電腦上私密執行大型語言模型（LLM）。無需 API 呼叫或 GPU，只需下載應用程式即可開始與本地 AI 模型對話，資料完全保留在本地。
为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
[EMNLP2025] "LightRAG: Simple and Fast Retrieval-Augmented Generation"