Crawl4AI オンライン：Web ページを LLM 向け Markdown に変換

Crawl4AI とは？

Crawl4AI は、Web サイトを LLM 向けのきれいな Markdown や構造化データに変換する、Python 製のオープンソースクローラーです。GitHub 上で unclecode が開発し、Apache 2.0 ライセンスで公開されています。実際のヘッドレスブラウザ（Playwright）を操作するため、JavaScript でコンテンツを読み込むページにも対応します。主な用途は RAG パイプライン、AI エージェント、研究用データセット、価格やコンテンツの監視です。

ライブラリ自体には Web 画面がなく、pip でインストールするか公式 Docker イメージを起動して使います。このページなら設定なしで結果が得られ、必要になればコードもそのまま持ち帰れます。

ツールの使い方

1. URL を貼り付けます。記事、ドキュメント、商品ページなど公開ページなら何でも。
2. オプションを選びます。「本文のみ」はナビゲーション、Cookie バナー、サイドバー、フッターを除去します。Crawl4AI の fit_markdown と同じ考え方です。
3. コピーまたはダウンロード。見出し・リスト・表・コードブロック・絶対リンクを含む Markdown と、語数・トークン数が表示されます。
4. コードを持ち帰る。「Python · Crawl4AI」タブには選んだオプションどおりの実行可能なスクリプト、「Docker API」タブには公式 Docker サーバーへの同じリクエストが表示されます。

Crawl4AI のインストール

pip install -U crawl4ai
crawl4ai-setup        # Playwright のブラウザをインストール

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url="https://example.com")
        print(result.markdown)

asyncio.run(main())

詳しいガイド（英語）：Python チュートリアル、Docker、MCP サーバー、Crawl4AI vs Firecrawl。