大型语言模型 (LLMs)

ollama / ollama

Ollama 是一个轻量级框架，用于在本地运行和管理开源大语言模型。它提供简洁的命令行工具和 REST API，支持 Llama、Gemma、Mistral 等模型，可轻松集成到各种开发工具和平台中，让开发者快速构建本地 AI 应用。

langchain-ai / langchain

LangChain 是一个用于构建智能体和大语言模型驱动应用的框架。它通过连接可互操作的组件和第三方集成，简化 AI 应用开发，并帮助开发者在技术快速演进时保持灵活性。

open-webui / open-webui

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，设计用于完全离线运行。它支持 Ollama 和 OpenAI 兼容 API 等多种 LLM 运行器，内置 RAG 推理引擎，是强大的 AI 部署解决方案。

deepseek-ai / DeepSeek-V3

DeepSeek-V3 是一款强大的混合专家（MoE）语言模型，总参数量 671B，每个 token 激活 37B 参数。采用多头潜在注意力机制、FP8 混合精度训练和多 token 预测技术，在多项基准测试中超越其他开源模型，性能媲美领先闭源模型，同时保持高效稳定的训练过程。

deepseek-ai / DeepSeek-R1

DeepSeek-R1 是深度求索推出的首代理性推理模型，在数学、代码和推理任务上性能对标 OpenAI-o1。该模型拥有 671B 参数 MoE 架构，开源了完整模型权重及 6 个蒸馏版本，采用 MIT 协议支持商用。

nomic-ai / gpt4all

GPT4All 是一个开源项目，让你能在普通电脑和笔记本上私密运行大型语言模型（LLM）。无需 API 调用或 GPU，只需下载应用即可开始与本地 AI 模型对话，数据完全留在本地。

vllm-project / vllm

vLLM 是一个快速且易于使用的大语言模型推理和服务库。最初由加州大学伯克利分校开发，具备业界领先的吞吐量、基于 PagedAttention 的高效内存管理、连续批处理功能，并与 Hugging Face 模型无缝集成。

binary-husky / gpt_academic

专为学术研究优化的AI助手，支持GPT/GLM/通义千问/DeepSeek等多种大模型。提供论文翻译润色、代码解析、学术写作等专业功能，采用模块化插件设计和自定义快捷操作。

meta-llama / llama

Meta官方Llama 2推理代码仓库。提供加载和运行Llama模型（7B-70B参数）的最小实现，支持文本补全和聊天应用。包含模型权重、分词器和本地部署示例脚本。

xai-org / grok-1

xAI的Grok-1：3140亿参数专家混合模型，提供JAX实现。开源权重和架构，支持高级AI研究和部署。

run-llama / llama_index

LlamaIndex 是一个开源的数据框架，用于构建基于大语言模型的应用程序，特别专注于检索增强生成（RAG）。提供数据连接器、索引工具和查询接口，让LLM能够访问私有数据。

microsoft / BitNet

微软官方推出的1位大语言模型推理框架，提供CPU和GPU上的快速无损推理，具备优化的内核，支持高效的边缘设备部署。

HKUDS / LightRAG

LightRAG是一个轻量级高效的检索增强生成框架，融合知识图谱和向量检索技术，支持多模态文档处理、多种存储后端，并提供API和Web UI界面。

QwenLM / Qwen3

Qwen3是阿里巴巴云开发的开源大语言模型系列，具备思维/非思维双模式切换、100万token超长上下文、多语言支持和业界领先的推理能力，适用于复杂问题求解。

huggingface / open-r1

Open R1 是一个完全开源复现 DeepSeek-R1 推理能力的项目，提供完整的训练流程、评估脚本和数据集，支持监督微调、GRPO强化学习和数据生成，推动透明AI推理模型发展。

SillyTavern / SillyTavern

面向高级用户的本地LLM前端工具，支持多种AI API、图像生成、语音合成和深度自定义功能，提供沉浸式角色扮演体验。