웹 스크래핑

scrapy / scrapy

Scrapy, a fast high-level web crawling & scraping framework for Python.

gocolly / colly

Elegant Scraper and Crawler Framework for Golang

puppeteer / puppeteer

Puppeteer 는 DevTools 프로토콜 또는 WebDriver BiDi 를 통해 Chrome 이나 Firefox 를 제어할 수 있는 고급 API 를 제공하는 JavaScript 라이브러리입니다. 기본적으로 헤드리스 모드로 실행되며 웹 스크래핑, 테스트 및 자동화에 널리 사용됩니다.

cheeriojs / cheerio

The fast, flexible, and elegant library for parsing and manipulating HTML and XML.

unclecode / crawl4ai

🚀🤖 Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper. Don't be shy, join here: https://discord.gg/jP8KfhDhyN

NanmiCoder / MediaCrawler

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫、百度贴吧帖子 ｜ 百度贴吧评论回复爬虫 | 知乎问答文章｜评论爬虫

Y2Z / monolith

⬛️ CLI tool and library for saving complete web pages as a single HTML file