SilentChat

A/B-Tests — Widget-Varianten vergleichen

Zuletzt aktualisiert: 18. November 2026

Verfügbar ab dem Tarif Professional. In kleineren Tarifen zeigt die Seite einen Hinweis zum Tarifwechsel. Bereits angelegte Experimente bleiben gespeichert, werden aber nicht ausgeliefert, bis der Tarif sie wieder enthält.

Das Experiment zählt nur Besucher mit Einwilligung. Eine Variante wird nur ausgewürfelt, wenn am Widget „Einwilligung erforderlich (DSGVO)“ eingeschaltet ist und der Besucher eingewilligt hat. Alle anderen Besucher sehen immer Variante A, im Browser wird für das Experiment nichts gespeichert, und ihre Gespräche fließen nicht in die Statistik ein. Ohne „Einwilligung erforderlich“ läuft ein Experiment deshalb leer: Alle sehen A, gezählt wird niemand.

Statt zu raten welcher Greeting-Text besser konvertiert, lassen Sie Ihre Besucher entscheiden. Zwei Widget-Konfigurationen laufen parallel; von den Besuchern mit Einwilligung sieht die eine Hälfte Variante A, die andere Variante B. Nach ein paar Wochen zeigt das Dashboard welche Variante statistisch signifikant gewinnt.

Wie ein Experiment funktioniert

  1. Sie legen zwei (oder mehr) Widgets an — z.B. einen Klon Ihres Standard-Widgets mit anderem Greeting-Text. Andere Config-Werte (Farben, Position) bleiben gleich.
  2. Unter KI & Automationen → A/B-Tests legen Sie ein Experiment an: Name + welche zwei Widgets verglichen werden + Aufteilung (z.B. 50/50).
  3. Klick auf Starten → ab dann wird jedem Besucher mit Einwilligung per deterministischem Hash eine Variante zugewiesen. Derselbe Besucher landet beim nächsten Besuch wieder in derselben Variante.
  4. Pro Konversation eines eingewilligten Besuchers persistiert SilentChat das variant_assignment ({group_id, label} JSONB). Damit bleibt die Statistik attribuierbar, auch wenn das Experiment später endet.

Wer landet in welcher Variante?

Ohne Einwilligung: immer Variante A. Variante A ist die Variante mit dem alphabetisch ersten Namen. Das gilt auch für den Besuch, in dem der Besucher erst einwilligt: Beim Laden des Widgets lag noch keine Einwilligung vor, er hat also A gesehen. Gespräche aus diesem Besuch zählen nicht mit; ab dem nächsten Besuch wird gewürfelt und gezählt.

Warum zählen Besucher ohne Einwilligung nicht als A? Sonst säßen alle Besucher ohne Einwilligung in A, und der Vergleich mit B wäre verzerrt.

Mit Einwilligung ist die Zuweisung deterministisch: sha256(visitor_fingerprint + group_id) mod 100 ergibt einen Bucket 0-99. Bei 50/50 landen Besucher mit Bucket 0-49 in Variante A, 50-99 in Variante B.

Eigenschaften dieses Vorgehens:

  • Gleicher Besucher → gleiche Variante über Seitenwechsel und sogar zwischen Besuchen (solange der Fingerabdruck stabil ist).
  • Group-ID als Salt isoliert Experimente voneinander: ein Besucher, der in Experiment X in "A" landete, hat eine unabhängige 50/50-Chance auf "A" oder "B" in Experiment Y. Kein Bias-Leak.
  • Als zusätzliche Sicherung speichert das Widget das Ergebnis nur mit Einwilligung in localStorage (sc_variant_<public_key>, Wert {group_id, label}). Bei Init sendet das Widget diesen Wert mit; der Server bevorzugt ihn vor einem neuen Hash-Pick. Das schützt vor Fingerabdruck-Drift (Browser-Update, Datenschutz-Erweiterung). Widerruft der Besucher, löscht das Widget den Eintrag.

Statistik & Winner-Vorschlag

Das Dashboard zeigt pro Variante:

  • Konversationen — wie viele Visitor in dieser Variante gelandet sind
  • Nachrichten — Engagement-Signal (chatty visitors)
  • Conversions — Konversationen die (a) mindestens eine Visitor-Nachricht haben UND (b) einen Status closed/resolved/assigned erreicht haben oder einem Agent zugewiesen wurden. Dieses Conversion-Signal deckt Lead-Capture, Ticket-Erstellung und Live-Handoff ab.
  • Rate — Conversions / Konversationen
  • ≥ Konfidenz (95%) — die untere Grenze des Wilson-95%-Konfidenz-Intervalls. Das ist die Zahl, auf die Sie schauen, wenn Sie einen Winner deklarieren — nicht die rohe Rate (rohe Raten lügen bei kleinen N).

Winner-Badge erscheint nur wenn beide Bedingungen erfüllt sind:

  1. Min. 200 Visitor pro Variante (sample-size-floor)
  2. Confidence-Lower des Leaders > Confidence-Upper des Runners-Up (non-overlapping intervals — strikter als „Rate ist höher")

Das schützt vor verfrühten Entscheidungen. Wenn die Rate für A z.B. bei N=50 dramatisch höher als B ist, kann das pures Rauschen sein — Wilson erkennt das und gibt keinen Winner aus.

Wann beenden?

Tenant entscheidet manuell — kein Auto-Stop. Sobald die Winner-Card grün ist, klicken Sie Beenden. Status wechselt zu completed, der Picker hört auf zu laufen, neue Besucher bekommen wieder das Standard-Widget.

Wenn Sie nach dem Beenden die Winner-Variante als Default haben wollen, kopieren Sie die Config-Werte (Greeting etc.) ins ursprüngliche Widget — das ist v1 noch ein manueller Schritt; ein Ein-Klick-Promote ist auf der Roadmap.

DSGVO

Ein Eintrag im Speicher des Endgeräts braucht nach § 25 TDDDG eine Einwilligung, wenn er nicht unbedingt erforderlich ist — und ein A/B-Test ist das nicht. Deshalb gilt:

  • Ohne Einwilligung liest und schreibt das Widget für das Experiment nichts im Browser. Der Besucher sieht Variante A, und sein Gespräch zählt nicht in der Statistik.
  • Mit Einwilligung schreibt das Widget einen localStorage-Eintrag:
    • Schlüssel: sc_variant_<public_key>
    • Wert: { "group_id": "<uuid>", "label": "A" } (nur Gruppen-ID und Buchstabe)
    • Speicherdauer: bis der Besucher die Einwilligung widerruft, den Browser-Speicher löscht oder das Experiment endet

Was in Ihre Datenschutzerklärung gehört:

Haben Sie in die Verarbeitung im Chat eingewilligt, setzen wir einen lokalen Speicher-Eintrag (sc_variant_<id>), um Sie konsistent in derselben Test-Variante zu halten. Der Eintrag enthält ausschließlich eine Test-ID und einen Variantennamen (z.B. "A"). Zweck: Vergleich zweier Fassungen unseres Chat-Fensters; Rechtsgrundlage: Ihre Einwilligung (§ 25 Abs. 1 TDDDG, Art. 6 Abs. 1 lit. a DSGVO), widerrufbar im Chat-Fenster.

Der Hash-Picker selbst nutzt den Fingerabdruck — auch der wird nur nach der Einwilligung gespeichert.

Häufige Fragen

Mehr als zwei Varianten? In v1 nur klassisches A/B. Multi-Variant (A/B/C/D) ist als Folge-Plan #167b geplant — Tenant-Bedarf abwartend.

Was passiert mit laufenden Konversationen wenn ich beende? Sie behalten ihren variant_assignment-Stempel und werden in der finalen Statistik mitgezählt — auch wenn der Besucher Tage später zurückkommt.

Picker ist deterministisch — wozu dann der localStorage? Layered Defence: der Hash bleibt stabil solange der Fingerprint stabil ist. localStorage springt ein wenn der Browser den Fingerprint ändert (Update, Datenschutz-Erweiterung) — sonst würde ein Visitor in dem Fall zur "anderen" Variante umkippen.

Brauche ich eine Einwilligung für den localStorage? Ja — und SilentChat setzt das durch: Ohne Einwilligung schreibt das Widget den Eintrag nicht, und der Besucher sieht Variante A. Schalten Sie am Widget „Einwilligung erforderlich (DSGVO)“ ein, sonst zählt das Experiment niemanden.

Warum zeigt mein Experiment weniger Besucher als die Besucherstatistik? Gezählt werden nur Gespräche von Besuchern, die schon vor dem Besuch eingewilligt hatten. Besucher ohne Einwilligung und Gespräche aus dem Besuch, in dem eingewilligt wurde, fehlen bewusst.

API-Referenz

EndpointBeschreibung
POST /api/v1/experimentsExperiment anlegen (Status = draft)
GET /api/v1/experimentsListe mit Assignments
GET /api/v1/experiments/:id/statsWilson-95%-Stats pro Variante
POST /api/v1/experiments/:id/startdraft → running
POST /api/v1/experiments/:id/stoprunning → completed
DELETE /api/v1/experiments/:idExperiment löschen (Widget-Back-Pointer werden gesäubert)

Die Picker-Logik läuft auf jedem POST /api/v1/widget/init — der Visitor sieht 0 zusätzliche Latenz, weil der Pick ein indexed DB-Lookup + Hash ist.