Crawl4AI · en ligne · gratuit
Crawl4AI en ligne : chaque page web en Markdown prêt pour les LLM
Collez une URL et obtenez un Markdown propre pour ChatGPT, Claude ou votre pipeline RAG – sans Python, sans Docker, sans clé API. Chaque résultat est accompagné du code Crawl4AI correspondant pour lancer le même crawl chez vous.
- Sans inscription
- Markdown + code Python
- Respecte robots.txt
Pro
Lot & sitemap : plusieurs pages d’un coup
Jusqu’à 100 URL d’un coup, ou toutes les pages d’un sitemap en un seul fichier Markdown – idéal pour le RAG. 500 pages par jour.
Le mode lot et sitemap fait partie de Webtools Pro d’Answer the Web – un abonnement pour tous les outils.
Pour les pages JavaScript et avec connexion
Bookmarklet Crawl4AI : du Markdown directement depuis votre navigateur
Certaines pages construisent leur contenu dans le navigateur ou exigent une connexion. Le bookmarklet convertit exactement la page affichée, y compris tout ce que JavaScript a chargé. Tout se passe dans votre navigateur ; rien n’est envoyé à un serveur.
- Glissez le bouton à droite dans la barre de favoris.
- Ouvrez n’importe quelle page, connecté ou application monopage.
- Cliquez sur le favori : le Markdown s’affiche, copiez-le ou enregistrez-le en .md.
Qu’est-ce que Crawl4AI ?
Crawl4AI est un crawler open source en Python qui transforme les sites web en Markdown propre et en données structurées pour les grands modèles de langage. Il est développé par unclecode sur GitHub, publié sous licence Apache 2.0, et pilote un vrai navigateur headless (Playwright) : il gère donc aussi les pages qui chargent leur contenu en JavaScript. Usages typiques : pipelines RAG, agents IA, jeux de données de recherche, veille de prix ou de contenus.
La bibliothèque n’a pas d’interface web : on l’installe avec pip ou on lance l’image Docker officielle. Cette page vous donne le résultat sans installation, et le code quand vous voulez aller plus loin.
Comment fonctionne l’outil
- Collez une URL d’une page publique : article, documentation, fiche produit.
- Choisissez les options. « Contenu principal seulement » retire menus, bannières de cookies, barres latérales et pieds de page – la même idée que
fit_markdowndans Crawl4AI. - Copiez ou téléchargez le Markdown avec titres, listes, tableaux, blocs de code et liens absolus, plus le nombre de mots et de tokens.
- Récupérez le code. L’onglet Python · Crawl4AI contient un script prêt à l’emploi avec vos options ; l’onglet Docker API la même requête pour le serveur Docker officiel.
Installer Crawl4AI
pip install -U crawl4ai
crawl4ai-setup # installe le navigateur Playwright
import asyncio
from crawl4ai import AsyncWebCrawler
async def main():
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(url="https://example.com")
print(result.markdown)
asyncio.run(main())
Guides détaillés (en anglais) : tutoriel Python, Docker, serveur MCP, Crawl4AI vs Firecrawl.