Crawl4AI 온라인: 모든 웹 페이지를 LLM용 Markdown으로

Crawl4AI란?

Crawl4AI는 웹사이트를 LLM용 깔끔한 Markdown과 구조화된 데이터로 변환하는 Python 오픈소스 크롤러입니다. GitHub에서 unclecode가 개발하며 Apache 2.0 라이선스로 공개되어 있습니다. 실제 헤드리스 브라우저(Playwright)를 사용하므로 JavaScript로 콘텐츠를 불러오는 페이지도 처리합니다. 주요 용도는 RAG 파이프라인, AI 에이전트, 연구용 데이터셋, 가격·콘텐츠 모니터링입니다.

라이브러리 자체에는 웹 화면이 없어서 pip로 설치하거나 공식 Docker 이미지를 실행해야 합니다. 이 페이지는 설치 없이 결과를 제공하고, 필요하면 코드도 함께 드립니다.

도구 사용 방법

1. URL을 붙여 넣습니다. 기사, 문서, 상품 페이지 등 공개된 페이지면 됩니다.
2. 옵션을 고릅니다. “본문만”은 메뉴, 쿠키 배너, 사이드바, 푸터를 제거합니다. Crawl4AI의 fit_markdown과 같은 방식입니다.
3. 복사하거나 다운로드합니다. 제목, 목록, 표, 코드 블록, 절대 링크가 포함된 Markdown과 단어·토큰 수를 보여 줍니다.
4. 코드를 가져갑니다. “Python · Crawl4AI” 탭에는 선택한 옵션 그대로의 실행 가능한 스크립트가, “Docker API” 탭에는 공식 Docker 서버용 동일한 요청이 있습니다.

Crawl4AI 설치

pip install -U crawl4ai
crawl4ai-setup        # Playwright 브라우저 설치

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url="https://example.com")
        print(result.markdown)

asyncio.run(main())

자세한 가이드(영어): Python 튜토리얼, Docker, MCP 서버, Crawl4AI vs Firecrawl.