Веб-скрейпинг

puppeteer / puppeteer

Библиотека Node.js для автоматизации браузеров, управляющая Chrome и Firefox через DevTools Protocol или WebDriver BiDi. По умолчанию работает в headless-режиме, подходит для веб-скрапинга, автотестирования, скриншотов, генерации PDF и автоматизации браузера.

unclecode / crawl4ai

Оптимизированный для LLM веб-краулер с открытым исходным кодом, преобразующий веб-контент в чистый Markdown для ИИ-приложений. Поддерживает асинхронную обработку, автоматизацию браузера и извлечение структурированных данных.

D4Vinci / Scrapling

Scrapling — адаптивный Python-фреймворк для веб-скрейпинга, охватывающий всё от одиночных запросов до масштабного краулинга. Умный парсер автоматически находит элементы после изменений на сайте, встроенные загрузчики обходят антибот-системы вроде Cloudflare, а фреймворк пауков поддерживает конкурентный краулинг с паузой/возобновлением, ротацией прокси и интеграцией ИИ через MCP-сервер.

scrapy / scrapy

Scrapy — это мощный Python фреймворк для веб-краулинга и скрейпинга, предоставляющий полный набор инструментов для эффективного и масштабируемого извлечения структурированных данных с веб-сайтов.

NanmiCoder / MediaCrawler

Мультиплатформенный краулер социальных сетей, поддерживающий Xiaohongshu, Douyin, Kuaishou, Bilibili, Weibo, Tieba и Zhihu. На базе Playwright с режимом CDP предоставляет поиск по ключевым словам, извлечение постов и вложенных комментариев, парсинг профилей авторов, пул IP-прокси, кэширование сессий, облако слов из комментариев, WebUI и поддержку хранилищ CSV, JSON, Excel, SQLite и MySQL.

cheeriojs / cheerio

The fast, flexible, and elegant library for parsing and manipulating HTML and XML.

gocolly / colly

Elegant Scraper and Crawler Framework for Golang

Y2Z / monolith

⬛️ CLI tool and library for saving complete web pages as a single HTML file