Большие языковые модели (LLMs)
Фреймворки, инструменты и ресурсы для больших языковых моделей (LLMs), включая обучение, инференс (vLLM, llama.cpp) и RAG.
Repositories
DeepSeek-V3 — мощная языковая модель архитектуры Mixture-of-Experts (MoE) с 671 млрд параметров, из которых 37 млрд активируются на токен. Использует многоголовое латентное внимание, FP8-обучение и мульти-токенное предсказание, достигая производительности, сопоставимой с ведущими закрытыми моделями, при высокой эффективности обучения.
DeepSeek-R1 — модель рассуждений первого поколения, достигающая производительности, сопоставимой с OpenAI-o1, в задачах по математике, коду и логике. Модель с 671B параметрами открыта под лицензией MIT.
Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.
Ollama — это легковесный фреймворк для запуска и управления открытыми большими языковыми моделями локально. Он предоставляет простой CLI и REST API для создания AI-приложений, поддерживая модели Llama, Gemma, Mistral и другие с легкой интеграцией в различные инструменты.
vLLM — это быстрая и простая в использовании библиотека для инференса и обслуживания больших языковых моделей. Разработанная в UC Berkeley, она обеспечивает высокую пропускную способность, эффективное управление памятью и интеграцию с моделями Hugging Face.
LangChain — это фреймворк для создания агентов и приложений на основе больших языковых моделей. Он помогает связывать взаимозаменяемые компоненты и сторонние интеграции для упрощения разработки ИИ-приложений.
The definitive Web UI for local AI, with powerful features and easy setup.
Open WebUI — это расширяемая, функциональная и удобная платформа для самостоятельного размещения ИИ, предназначенная для работы полностью в автономном режиме. Поддерживает различные LLM-раннеры, включая Ollama и совместимые с OpenAI API, со встроенным движком вывода для RAG.
GPT4All — это экосистема с открытым исходным кодом, позволяющая запускать большие языковые модели (LLM) конфиденциально на обычных настольных компьютерах и ноутбуках. Не требуются API-вызовы или GPU — просто скачайте приложение и начните общаться с локальными ИИ-моделями.
为GPT/GLM等LLM大语言模型提供实用化交互接口，特别优化论文阅读/润色/写作体验，模块化设计，支持自定义快捷按钮&函数插件，支持Python和C++等项目剖析&自译解功能，PDF/LaTex论文翻译&总结功能，支持并行问询多种LLM模型，支持chatglm3等本地模型。接入通义千问, deepseekcoder, 讯飞星火, 文心一言, llama2, rwkv, claude2, moss等。
