Extracción web

Frameworks y herramientas para rastrear sitios web, navegación headless y extracción de datos.

Repositorios

puppeteer / puppeteer

Puppeteer es una biblioteca de JavaScript que proporciona una API de alto nivel para controlar Chrome o Firefox mediante el protocolo DevTools o WebDriver BiDi. Se ejecuta en modo headless por defecto y se usa ampliamente para scraping, pruebas y automatización web.

TypeScript

94.4k

2 days ago

unclecode / crawl4ai

Rastreador web de código abierto optimizado para LLM, convierte contenido web en Markdown limpio para aplicaciones de IA. Incluye procesamiento asíncrono, automatización de navegadores y extracción de datos estructurados.

Python

67.5k

9 days ago

scrapy / scrapy

Scrapy es un potente framework de Python para web crawling y scraping, que proporciona un conjunto completo de herramientas para extraer datos estructurados de sitios web de manera eficiente y a gran escala.

Python

62.1k

a day ago

D4Vinci / Scrapling

Scrapling es un framework adaptativo de web scraping en Python que maneja desde solicitudes únicas hasta rastreo a gran escala. Su parser inteligente reubica elementos automáticamente tras cambios en el sitio, los fetchers integrados evaden sistemas anti-bot como Cloudflare, y el framework de spiders soporta rastreo concurrente con pausa/reanudación, rotación de proxies e integración de IA mediante servidor MCP.

Python

60.0k

2 hours ago