Crawl4AI · online · grátis
Crawl4AI Online: qualquer página da web em Markdown pronto para LLMs
Cole uma URL e receba Markdown limpo para ChatGPT, Claude ou o seu pipeline de RAG – sem Python, sem Docker, sem chave de API. Cada resultado vem com o código Crawl4AI correspondente, para rodar o mesmo crawl no seu computador.
- Sem cadastro
- Markdown + código Python
- Respeita robots.txt
Pro
Lote e sitemap: muitas páginas de uma vez
Até 100 URLs de uma vez, ou todas as páginas de um sitemap em um único arquivo Markdown – ideal para RAG. 500 páginas por dia.
Lote e sitemap fazem parte do Webtools Pro da Answer the Web – uma assinatura para todas as ferramentas.
Para páginas com JavaScript e login
Bookmarklet Crawl4AI: Markdown direto do seu navegador
Algumas páginas montam o conteúdo no navegador ou ficam atrás de um login. O bookmarklet converte exatamente a página que você está vendo, incluindo tudo o que o JavaScript carregou. Roda inteiro no seu navegador; nada vai para um servidor.
- Arraste o botão à direita para a barra de favoritos.
- Abra qualquer página, logado ou em um app de página única.
- Clique no favorito: o Markdown aparece num painel, copie ou salve como .md.
O que é o Crawl4AI?
Crawl4AI é um crawler de código aberto em Python que transforma sites em Markdown limpo e dados estruturados para modelos de linguagem. Ele é desenvolvido por unclecode no GitHub, publicado sob a licença Apache 2.0, e controla um navegador headless de verdade (Playwright), por isso também lida com páginas que carregam o conteúdo via JavaScript. Usos comuns: pipelines de RAG, agentes de IA, conjuntos de dados para pesquisa e monitoramento de preços ou conteúdo.
A biblioteca não tem interface web: você instala com pip ou roda a imagem Docker oficial. Esta página entrega o resultado sem instalação – e o código quando você quiser ir além.
Como a ferramenta funciona
- Cole a URL de uma página pública: artigo, documentação, página de produto.
- Escolha as opções. “Só o conteúdo principal” remove menus, avisos de cookies, barras laterais e rodapés – a mesma ideia do
fit_markdowndo Crawl4AI. - Copie ou baixe o Markdown com títulos, listas, tabelas, blocos de código e links absolutos, além da contagem de palavras e tokens.
- Leve o código. A aba Python · Crawl4AI traz um script pronto com as suas opções; a aba Docker API, a mesma requisição para o servidor Docker oficial.
Instalar o Crawl4AI
pip install -U crawl4ai
crawl4ai-setup # instala o navegador do Playwrightimport asyncio
from crawl4ai import AsyncWebCrawler
async def main():
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(url="https://example.com")
print(result.markdown)
asyncio.run(main())Guias detalhados (em inglês): tutorial Python, Docker, servidor MCP, Crawl4AI vs Firecrawl.