Crawl4AI Docker: die selbst gehostete Crawling-API

Container starten

docker run -d \
  -p 11235:11235 \
  --name crawl4ai \
  --shm-size=1g \
  unclecode/crawl4ai:latest

• API: http://localhost:11235
• Playground (Anfragen im Browser testen): http://localhost:11235/playground
• Statusprüfung: GET /health

--shm-size=1g ist wichtig: Chromium braucht Shared Memory und stürzt bei größeren Seiten sonst ab.

Markdown holen: POST /md

curl -X POST http://localhost:11235/md \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "f": "fit"}'

f wählt den Filter: raw, fit, bm25 (mit Suchbegriff q) oder llm.

Vollständiger Crawl: POST /crawl

curl -X POST http://localhost:11235/crawl \
  -H "Content-Type: application/json" \
  -d '{
    "urls": ["https://example.com"],
    "browser_config": {"type": "BrowserConfig", "params": {"headless": true}},
    "crawler_config": {"type": "CrawlerRunConfig", "params": {"cache_mode": "bypass"}}
  }'

Weitere Endpunkte: /crawl/stream (NDJSON), /html, /screenshot, /pdf, /execute_js sowie MCP unter /mcp/sse (siehe Crawl4AI MCP).

LLM-Funktionen: .llm.env

# .llm.env  (nie ins Git einchecken)
OPENAI_API_KEY=sk-...
ANTHROPIC_API_KEY=...

docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g \
  --env-file .llm.env unclecode/crawl4ai:latest

docker compose

services:
  crawl4ai:
    image: unclecode/crawl4ai:latest
    ports: ["11235:11235"]
    shm_size: "1g"
    env_file: [.llm.env]
    restart: unless-stopped

Die Anfrage für eine bestimmte Seite? URL im Online-Tool eingeben und den Tab „Docker API“ öffnen.