Crawl4AI · online · kostenlos
Crawl4AI Online: jede Webseite als LLM-fertiges Markdown
URL einfügen, sauberes Markdown für ChatGPT, Claude oder deine RAG-Pipeline erhalten – ohne Python, ohne Docker, ohne API-Key. Zu jedem Ergebnis gibt es den passenden Crawl4AI-Code, damit du denselben Crawl lokal und in großem Umfang laufen lassen kannst.
- Ohne Anmeldung
- Markdown + Python-Code
- Beachtet robots.txt
- 7 Sprachen
Pro
Batch & Sitemap: viele Seiten auf einmal
Bis zu 100 URLs am Stück oder alle Seiten aus einer Sitemap als eine Markdown-Datei – ideal für RAG und Wissensbasen. 500 Seiten pro Tag.
Batch und Sitemap gehören zu Webtools Pro von Answer the Web – ein Abo für alle Tools, auch markitdown.de.
Für JavaScript- und Login-Seiten
Crawl4AI-Bookmarklet: Markdown direkt aus deinem Browser
Manche Seiten bauen ihren Inhalt erst im Browser oder liegen hinter einem Login. Das Bookmarklet wandelt genau die Seite um, die du gerade siehst – mit allem, was JavaScript geladen hat. Es läuft komplett lokal in deinem Browser, nichts geht an einen Server.
- Den Knopf rechts in die Lesezeichenleiste ziehen.
- Beliebige Seite öffnen, auch eingeloggt oder als Single-Page-App.
- Lesezeichen anklicken: Markdown erscheint im Fenster, kopieren oder als .md speichern.
Was ist Crawl4AI?
Crawl4AI ist ein Open-Source-Crawler für Python, der Webseiten in sauberes Markdown und strukturierte Daten für Sprachmodelle verwandelt. Entwickelt wird er von unclecode auf GitHub, veröffentlicht unter der Apache-2.0-Lizenz. Crawl4AI steuert einen echten Headless-Browser (Playwright) und kommt deshalb auch mit Seiten zurecht, die ihren Inhalt per JavaScript laden. Typische Einsätze: RAG-Pipelines, KI-Agenten, Datensätze für Forschung und das Beobachten von Preisen oder Inhalten.
Die Bibliothek selbst hat keine Weboberfläche. Man installiert sie per pip oder startet das offizielle Docker-Image. Diese Seite liefert dir das Ergebnis ohne diese Einrichtung – und gibt dir den Code, sobald du mehr willst.
So funktioniert das Online-Tool
- URL einfügen. Jede öffentliche Webseite: Artikel, Dokumentation, Produktseite, Blogbeitrag.
- Optionen wählen. „Nur Hauptinhalt“ entfernt Navigation, Cookie-Banner, Seitenleisten und Footer – dieselbe Idee wie
fit_markdownin Crawl4AI. Links und Bilder kannst du behalten oder weglassen. - Kopieren oder herunterladen. Du bekommst Markdown mit Überschriften, Listen, Tabellen, Codeblöcken und absoluten Links, dazu Wörter und Tokens für dein Kontextfenster.
- Code mitnehmen. Der Tab Python · Crawl4AI zeigt ein lauffähiges Skript mit genau deinen Optionen. Der Tab Docker API zeigt dieselbe Anfrage an den offiziellen Docker-Server.
Was du mit dem Markdown machen kannst
Seite in ChatGPT, Claude oder Gemini einfügen, ohne dass Menüs und Werbung das Kontextfenster füllen.
Saubere Überschriften sind gute Grenzen für Chunks. Als .md speichern und in die Vektordatenbank laden.
Vorab sehen, was Crawl4AI aus einer URL holt, bevor du eine Pipeline schreibst – dann das Skript kopieren.
Crawl4AI in 30 Sekunden (Python)
pip install -U crawl4ai
crawl4ai-setup # installiert den Playwright-Browser
crawl4ai-doctor # optional: prüft die Installationimport asyncio
from crawl4ai import AsyncWebCrawler
async def main():
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(url="https://example.com")
print(result.markdown)
asyncio.run(main())Schritt für Schritt mit Filtern, mehreren URLs und LLM-Extraktion: Crawl4AI Python-Tutorial. Lieber eine API? Crawl4AI mit Docker. Claude oder Cursor? Crawl4AI MCP-Server.