Crawler – Letzte Fehler

Administration → Web Crawler → Letzte Fehler

Wie die Warteschlange, aber mit status=failed vorausgewählt und ohne Status-Filter. Eigene Filter: Tenant, URL-Substring, Datums-Range.

Workflow

1. Sortiert nach completed_at DESC — neueste Fehler zuerst
2. Klick auf eine Zeile öffnet die Job-Detailseite mit der vollständigen Fehler-Message + Empfehlung
3. Wiederkehrende Fehler einer URL: in der Detailseite das Auto-Recrawl direkt deaktivieren (oder per Bulk-Aktion auf der Queue-Seite)

Häufige Fehler

• HTTP 4xx/5xx — URL nicht (mehr) erreichbar
• robots.txt blockiert — landet als status=skipped mit Begründung
• Content unchanged — kein Fehler, sondern Optimization (gleicher Hash wie letzter Crawl)
• Timeout / DNS — Provider-Probleme oder URL falsch eingegeben