Crawl4AI Online: chuyển mọi trang web sang Markdown sẵn sàng cho LLM

Crawl4AI là gì?

Crawl4AI là trình crawl mã nguồn mở viết bằng Python, biến trang web thành Markdown sạch và dữ liệu có cấu trúc cho các mô hình ngôn ngữ lớn. Dự án do unclecode phát triển trên GitHub, phát hành theo giấy phép Apache 2.0, và điều khiển một trình duyệt headless thật (Playwright) nên xử lý được cả những trang tải nội dung bằng JavaScript. Ứng dụng phổ biến: pipeline RAG, AI agent, bộ dữ liệu nghiên cứu, theo dõi giá hoặc nội dung.

Bản thân thư viện không có giao diện web: bạn cài bằng pip hoặc chạy Docker image chính thức. Trang này cho bạn kết quả mà không cần cài đặt – và trao luôn mã khi bạn cần làm nhiều hơn.

Cách dùng công cụ

1. Dán URL của một trang công khai: bài viết, tài liệu, trang sản phẩm.
2. Chọn tùy chọn. “Chỉ nội dung chính” loại bỏ menu, banner cookie, thanh bên và chân trang – cùng ý tưởng với fit_markdown của Crawl4AI.
3. Sao chép hoặc tải xuống Markdown với tiêu đề, danh sách, bảng, khối mã và liên kết tuyệt đối, kèm số từ và số token.
4. Lấy mã. Tab Python · Crawl4AI có script chạy được với đúng tùy chọn của bạn; tab Docker API có cùng yêu cầu cho Docker server chính thức.

Cài đặt Crawl4AI

pip install -U crawl4ai
crawl4ai-setup        # cài trình duyệt Playwright

import asyncio
from crawl4ai import AsyncWebCrawler

async def main():
    async with AsyncWebCrawler() as crawler:
        result = await crawler.arun(url="https://example.com")
        print(result.markdown)

asyncio.run(main())

Hướng dẫn chi tiết (tiếng Anh): Python, Docker, MCP server, Crawl4AI vs Firecrawl.