Große Sprachmodelle (LLMs)
Frameworks, Tools und Ressourcen für Große Sprachmodelle (LLMs), einschließlich Training, Inferenz (vLLM, llama.cpp) und RAG.
Repositories
DeepSeek-V3 ist ein leistungsstarkes Mixture-of-Experts (MoE)-Sprachmodell mit 671B Gesamtparametern, wobei pro Token 37B aktiviert werden. Es nutzt Multi-Head-Latent-Attention, FP8-Training und Multi-Token-Vorhersage und erreicht eine Leistung, die mit führenden geschlossenen Modellen vergleichbar ist, bei hoher Trainingseffizienz und Stabilität.
DeepSeek-R1 ist ein Reasoning-Modell der ersten Generation, das in Mathematik, Code und Logikaufgaben eine mit OpenAI-o1 vergleichbare Leistung erzielt. Das 671B-Parameter-Modell ist unter der MIT-Lizenz open-source.
Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.
Ollama ist ein leichtgewichtiges Framework zum Ausführen und Verwalten von Open-Source-Sprachmodellen lokal. Es bietet eine einfache CLI und REST-API zum Erstellen von KI-Anwendungen und unterstützt Modelle wie Llama, Gemma und Mistral mit einfacher Integration in verschiedene Tools.
vLLM ist eine schnelle und benutzerfreundliche Bibliothek für LLM-Inferenz und -Bereitstellung. Ursprünglich an der UC Berkeley entwickelt, bietet sie höchste Durchsatzleistung, effizientes Speichermanagement mit PagedAttention und nahtlose Integration mit Hugging Face-Modellen.
LangChain ist ein Framework zur Entwicklung von Agenten und LLM-gesteuerten Anwendungen. Es verbindet interoperable Komponenten und Drittanbieter-Integrationen, um die KI-Anwendungsentwicklung zu vereinfachen.
The definitive Web UI for local AI, with powerful features and easy setup.
Open WebUI ist eine erweiterbare, funktionsreiche und benutzerfreundliche selbstgehostete KI-Plattform, die vollständig offline betrieben werden kann. Sie unterstützt verschiedene LLM-Runner wie Ollama und OpenAI-kompatible APIs mit integrierter Inferenz-Engine für RAG.
GPT4All ist ein Open-Source-Ökosystem, das es ermöglicht, leistungsstarke große Sprachmodelle (LLMs) privat auf gängigen Desktop- und Laptop-Computern auszuführen. Keine API-Aufrufe oder GPUs erforderlich – laden Sie einfach die App herunter und chatten Sie mit lokalen KI-Modellen.
为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
