Marcos, herramientas y recursos para Modelos de Lenguaje de Gran Escala (LLMs), que incluyen entrenamiento, inferencia (vLLM, llama.cpp) y RAG.
Modelos de Lenguaje de Gran Escala (LLMs)
Repositorios
Ollama es un marco ligero para ejecutar y gestionar modelos de lenguaje de código abierto localmente. Proporciona una CLI y API REST simples para construir aplicaciones de IA, soportando modelos como Llama, Gemma y Mistral con fácil integración en diversas herramientas y plataformas.
LangChain es un framework para construir agentes y aplicaciones impulsadas por LLM. Ayuda a conectar componentes interoperables e integraciones de terceros para simplificar el desarrollo de aplicaciones de IA.
Open WebUI es una plataforma de IA autoalojada, extensible, rica en funciones y fácil de usar, diseñada para funcionar completamente sin conexión. Soporta varios ejecutores de LLM como Ollama y APIs compatibles con OpenAI, con motor de inferencia integrado para RAG.
DeepSeek-V3 es un potente modelo de lenguaje Mixture-of-Experts (MoE) con 671B de parámetros totales y 37B activados por token. Incorpora atención latente multi-cabezal, entrenamiento FP8 y predicción multi-token, logrando un rendimiento comparable a los mejores modelos cerrados, manteniendo eficiencia y estabilidad en el entrenamiento.
DeepSeek-R1 es un modelo de razonamiento de primera generación que logra un rendimiento comparable a OpenAI-o1 en tareas de matemáticas, código y razonamiento. Cuenta con 671B de parámetros y está disponible bajo licencia MIT.
GPT4All es un ecosistema de código abierto que permite ejecutar modelos de lenguaje grandes (LLM) de forma privada en ordenadores y portátiles comunes. No requiere llamadas a API ni GPUs; solo descarga la aplicación y comienza a chatear con modelos de IA locales.
vLLM es una biblioteca rápida y fácil de usar para inferencia y servicio de LLM. Desarrollada originalmente en UC Berkeley, ofrece rendimiento líder, gestión eficiente de memoria con PagedAttention y integración perfecta con modelos de Hugging Face.
Asistente de IA especializado en investigación académica, compatible con múltiples LLMs (GPT/GLM/Qwen/DeepSeek). Ofrece traducción de artículos, pulido de textos, análisis de código y escritura académica con sistema modular de plugins y atajos personalizables.
Repositorio oficial de código de inferencia de Meta Llama 2. Proporciona implementación mínima para cargar y ejecutar modelos Llama (7B-70B parámetros) para aplicaciones de finalización de texto y chat. Incluye pesos del modelo, tokenizador y scripts de ejemplo para implementación local.
Grok-1 de xAI: Modelo Mixture-of-Experts de 314B parámetros con implementación JAX. Pesos y arquitectura de código abierto para investigación y despliegue de IA avanzada.
LlamaIndex es un marco de datos de código abierto para construir aplicaciones de LLM con generación aumentada por recuperación (RAG). Proporciona conectores de datos, herramientas de indexación e interfaces de consulta.
Marco de inferencia oficial de Microsoft para modelos de lenguaje grande de 1 bit, proporciona inferencia rápida y sin pérdidas en CPU y GPU con kernels optimizados para implementación eficiente en dispositivos periféricos.
LightRAG es un marco de generación aumentada por recuperación ligero y eficiente que integra grafos de conocimiento con recuperación vectorial. Soporta procesamiento multimodal de documentos, múltiples backends de almacenamiento y proporciona interfaces API y Web UI.
Qwen3 es una serie avanzada de modelos de lenguaje de código abierto de Alibaba Cloud, con modos duales de pensamiento/no pensamiento, contexto de 1 millón de tokens, soporte multilingüe y capacidades de razonamiento de última generación.
Open R1 es un proyecto comunitario para reproducir completamente las capacidades de razonamiento de DeepSeek-R1. Proporciona pipelines de entrenamiento, scripts de evaluación y conjuntos de datos para SFT, GRPO y generación de datos, permitiendo el desarrollo transparente de modelos de IA.
Un potente frontend local de LLM para usuarios avanzados, compatible con múltiples APIs de IA, generación de imágenes, TTS y opciones de personalización extensas para experiencias de rol inmersivas.