KB-Trefferqualität tunen (Confidence-Threshold)
Sie haben Ihre Dokumentation indexiert, der Chunk-Zähler zeigt z. B. 580 indexierte Chunks, aber auf die Frage „Wie funktioniert der Chat?" antwortet der Bot mit einem generischen „Wie kann ich Ihnen helfen?" und der Copilot blendet ein:
Kein Treffer in der Wissensbasis — dieser Vorschlag ist generisch.
Das liegt fast immer an einem einzigen Wert: der Confidence-Schwelle für KB-Treffer.
Was ist die Confidence?
Beim Retrieval vergleicht die KI die Besucherfrage (als Vektor-Embedding) mit jedem indexierten KB-Chunk. Jeder Chunk bekommt einen Similarity-Score zwischen 0.0 (kein Zusammenhang) und 1.0 (Text-identisch).
Nur Chunks oberhalb der Confidence-Schwelle gelten als Treffer und landen im Kontext, den die KI zur Antwort bekommt. Alles darunter wird verworfen — selbst wenn's eigentlich passen würde.
Der Default-Wert: 0.75
Der Standard ist 0.75. Das ist streng. Konsequenz:
- Wortgleiche Formulierungen matchen sicher
- Synonyme und Paraphrasen (typische Besucherfragen!) fallen oft durch
- Kurze Fragen („Wie chatten?") haben schwache Embeddings und scheitern fast immer
Für die meisten Wissensbasen mit natürlichsprachlichen Artikeln ist 0.75 zu hoch.
Slider anpassen
- Einstellungen → KI-Chatbot → Tab „Wissen"
- Bei aktivierter „Wissensdatenbank verwenden" erscheint der Treffer-Schwelle-Slider (0.00 bis 1.00)
- Wert verschieben, Speichern
Änderungen greifen sofort — kein Reindex nötig, nur das Retrieval-Query ändert sich.
Empfohlene Werte
| Wert | Charakter | Wann sinnvoll |
|---|---|---|
| 0.3 | Sehr locker | Sehr kleine KB, jeder Treffer zählt; viele False-Positives akzeptabel |
| 0.5–0.6 | Locker | Empfohlen für die meisten Setups — fängt Paraphrasen und kurze Fragen |
| 0.75 | Streng (Default) | Große KB mit klaren Artikel-Titeln, Präzision wichtiger als Recall |
| 0.85+ | Sehr streng | Nur Text-ähnliche Matches; quasi eine FAQ-Suche |
Faustregel: Eher zu locker als zu streng. Ein falscher Treffer wird meistens vom KI-Prompt aussortiert („Antworte nur wenn die Information im Kontext steht"), ein fehlender Treffer macht den Bot stumm.
Zusammenspiel mit „Handoff bei niedriger Confidence"
Unter Einstellungen → KI-Chatbot → Tab „Übergabe" gibt es den Toggle „Übergabe bei niedriger Confidence". Der greift sobald kein Chunk die Schwelle erreicht hat.
Das heißt:
- Schwelle niedrig (0.4) + Handoff aktiv → Bot probiert RAG-Antworten bei vielen Fragen; Handoff nur wenn wirklich gar nichts passt
- Schwelle hoch (0.9) + Handoff aktiv → Bot gibt häufig an einen Agent ab, auch bei Fragen die die KB eigentlich beantworten könnte
- Schwelle niedrig + Handoff aus → Bot antwortet fast immer mit irgendetwas aus der KB; ggf. ungenau
Die Kombi bestimmt den gefühlten Charakter Ihres Bots („hilfsbereit" vs. „übergibt schnell an Menschen").
Wenn's trotz 0.4 nichts findet
Falls der Slider auf 0.4 steht und der Bot immer noch nichts findet, liegt's wahrscheinlich an:
- Widget-KB-Scope — das Widget hat Modus „Ausgewählte Kategorien" mit Kategorien in denen die Artikel nicht liegen → kein Treffer möglich. Prüfen Sie den Live-Zähler im Widget-Tab „Wissen"
- Sprach-Mismatch — Artikel sind auf Englisch, die Frage auf Deutsch (oder umgekehrt). Der Embedding-Vektor ist sprach-sensitiv, Cross-Language-Retrieval funktioniert nur schwach
- Artikel nicht veröffentlicht — nur
status = publishedzählt für RAG. Drafts ignorieren - Index veraltet — neue Artikel angelegt aber nie indexiert. Einstellungen → KI-Chatbot → Tab „Wissen" → „Reindex"
Per-Widget-Override
Aktuell ist die Schwelle tenant-weit. Pro-Widget-Overrides sind als Feature-Stub im Save-Path vorbereitet, aber nicht im UI exposed — wenn Sie pro Widget unterschiedliche Strengen brauchen, melden Sie sich.
Tracking
Jedes Mal wenn die Schwelle nicht erreicht wird, trägt der Bot die Frage als KB-Gap ein (falls Gap-Tracking aktiv). Diese sehen Sie unter Wissensdatenbank → Lücken — ideal um zu wissen, welche Artikel Ihnen in der KB fehlen.