網頁抓取

puppeteer / puppeteer

Node.js 瀏覽器自動化函式庫，透過 DevTools Protocol 或 WebDriver BiDi 控制 Chrome 與 Firefox。預設無頭模式，適用於網頁抓取、自動化測試、截圖、產生 PDF 及瀏覽器自動化等情境。

unclecode / crawl4ai

專為LLM優化的開源網路爬蟲，將網頁內容轉換為乾淨的Markdown格式，支援非同步處理、瀏覽器自動化和結構化資料提取。

D4Vinci / Scrapling

Scrapling 是一個自適應 Python 網頁爬蟲框架，涵蓋從單次請求到大規模爬取的全流程。智慧解析器可在網站結構變更後自動定位元素，內建請求器可繞過 Cloudflare 等反爬系統，爬蟲引擎支援併發爬取、暫停恢復、代理輪替，並透過 MCP 伺服器整合 AI 輔助提取。

scrapy / scrapy

Scrapy 是一個強大的 Python 網路爬蟲框架，提供完整的工具集，用於高效、大規模地從網站提取結構化數據。

NanmiCoder / MediaCrawler

支援小紅書、抖音、快手、B站、微博、貼吧、知乎等7大平台的多平台自媒體爬蟲。基於 Playwright 與 CDP 模式，提供關鍵字搜尋、指定貼文抓取、二級評論採集、創作者主頁爬取、IP代理池、登入態快取、評論詞雲生成、WebUI 視覺化操作，以及 CSV/JSON/Excel/SQLite/MySQL 多種資料儲存方式。

cheeriojs / cheerio

The fast, flexible, and elegant library for parsing and manipulating HTML and XML.

gocolly / colly

Elegant Scraper and Crawler Framework for Golang

Y2Z / monolith

⬛️ CLI tool and library for saving complete web pages as a single HTML file