ウェブスクレイピング

ウェブスクレイピング

ウェブサイトのクロール、ヘッドレスブラウジング、データ抽出のためのフレームワークとツール。

リポジトリ

puppeteer / puppeteer

Puppeteer は、DevTools プロトコルまたは WebDriver BiDi を介して Chrome や Firefox を制御するための高レベル API を提供する JavaScript ライブラリです。デフォルトでヘッドレスモードで動作し、ウェブスクレイピング、テスト、自動化に広く使用されています。

TypeScript

94.4k

9 hours ago

unclecode / crawl4ai

LLM向けに最適化されたオープンソースWebクローラー。WebコンテンツをAIアプリケーション用のクリーンなMarkdownに変換し、非同期処理、ブラウザ自動化、構造化データ抽出をサポート。

Python

65.6k

14 days ago

scrapy / scrapy

Scrapy は強力な Python ウェブクローリング・スクレイピングフレームワークで、効率的かつ大規模にウェブサイトから構造化データを抽出するための完全なツールキットを提供します。

Python

61.8k

7 days ago

D4Vinci / Scrapling

Scrapling はアダプティブな Python ウェブスクレイピングフレームワークで、単一リクエストから大規模クローリングまで対応。スマートパーサーはサイト変更後に要素を自動再配置し、組み込みフェッチャーは Cloudflare などのボット対策を回避。MCP サーバーによる AI 統合、中断・再開機能、プロキシローテーションを備えたスパイダーフレームワークを搭載。

Python

54.2k

8 days ago