Crawler
SilentChatBot
SilentChatBot ist der Crawler von SilentChat. Er indexiert im Auftrag unserer Kunden deren eigene, verifizierte Website-Inhalte, damit der KI-Assistent im Chat-Widget präzise aus der Wissensdatenbank antworten kann.
SilentChatBot/1.0 (+https://silentchat.de/bot)Jede Anfrage trägt genau diese Kennung. Wir verschleiern uns nicht und rotieren keine User-Agents.
Nur verifizierte Kunden-Domains
Der Bot ruft ausschließlich Domains ab, deren Inhaberschaft der Kunde im Dashboard nachgewiesen hat. Es findet kein Crawling fremder oder öffentlicher Websites statt.
robots.txt wird respektiert
Allow- und Disallow-Regeln (inklusive * und $) für SilentChatBot bzw. * werden befolgt; nicht erlaubte Pfade werden nicht abgerufen.
Höflich & gedrosselt
Pro Domain gilt ein striktes Raten-Limit. Auf 429/503 reagieren wir mit Backoff (Retry-After); wiederholte Blockaden oder ein 403 stoppen den Crawl, statt den Server weiter zu belasten.
Ehrliche Identität
Fester, kontaktierbarer User-Agent — kein Browser-Spoofing, keine wechselnden Kennungen.
Schonend & dedupliziert
URLs werden kanonisiert (Tracking- und Session-Parameter entfernt) und unveränderte Seiten übersprungen, damit Ihr Server nicht unnötig abgefragt wird.
Kontakt & Opt-out
Da wir nur Websites unserer Kunden abrufen, genügt zum Deaktivieren in der Regel eine Nachricht des Betreibers. Fragen zum Bot-Verhalten oder Opt-out-Wünsche richten Sie an support@silentchat.de. Alternativ können Sie SilentChatBot per robots.txt einschränken — User-agent: SilentChatBot.