Was bedeutet „über Reservemodell“ an einer Bot-Antwort?
This article is currently only available in German.
Unter jeder Antwort Ihres KI-Bots zeigt das Postfach, welches Modell sie geschrieben hat, zum Beispiel IONOS · Mistral-Small-24B-Instruct. Steht daneben der gelbe Hinweis über Reservemodell, hat nicht das eingestellte Modell geantwortet, sondern ein Ersatz.
Warum es Reservemodelle gibt
Auch bei einem großen Anbieter ist ein einzelnes Modell manchmal für einige Minuten ausgelastet. Früher bekam Ihr Besucher dann keine Antwort, und das Gespräch ging sofort an Ihr Team. Heute springt ein Reservemodell ein, und Ihr Besucher merkt davon nichts.
Wann ein Reservemodell einspringt
Nur, bevor Ihr Besucher etwas gesehen hat, und nur aus diesen Gründen:
| Hinweis im Tooltip | Bedeutung |
|---|---|
| Anbieter ausgelastet | das Modell hatte keine freie Kapazität (HTTP 502, 503 oder 504, auch nach zwei Wiederholungen) |
| Anfragegrenze erreicht | zu viele Anfragen an dieses Modell (HTTP 429) |
| Modell nicht mehr vorhanden | der Anbieter hat das Modell abgeschaltet |
| keine Verbindung / Zeitüberschreitung | das Modell war nicht erreichbar |
| keine Antwort binnen 10 s | 10 Sekunden lang kam kein Lebenszeichen |
| leere Antwort | das Modell hat geantwortet, aber ohne Text |
Fährt Ihr Mauszeiger über den Hinweis, sehen Sie, welches Modell ausgefallen ist und warum, etwa: Mistral-Small-24B-Instruct war nicht verfügbar: Anbieter ausgelastet (503).
Was dabei gleich bleibt
- Es antwortet immer nur ein Modell. Die Modelle werden nacheinander gefragt, nie gleichzeitig. Sobald eines antwortet, ist Schluss.
- Ihre Einstellungen gelten weiter: Anweisungen, Wissensdatenbank, Tonfall und Übergaberegeln.
- Alle Modelle laufen bei IONOS in Deutschland, wie das eingestellte. Es kommt kein weiterer Dienstleister hinzu.
- Ihr Besucher sieht keinen Fehler. Der Hinweis erscheint nur für Ihr Team im Postfach, nicht im Widget.
Wann es trotzdem zur Übergabe kommt
Fallen auch die Reservemodelle aus, übergibt der Bot wie bisher an Ihr Team. In der Zeile zur Übergabe steht dann der Grund ai_error, siehe Handoff-Regeln.
Muss ich etwas einstellen?
Nein. Welche Modelle als Reserve bereitstehen, legen wir fest.
Der Probelauf in Ihren KI-Einstellungen fragt bewusst nur Ihr eingestelltes Modell. So sehen Sie dort, ob genau dieses Modell funktioniert — ein Reservemodell würde einen Ausfall sonst verdecken.
Häufen sich die Hinweise über mehrere Stunden, schreiben Sie uns gern. Meist ist es eine kurze Störung beim Anbieter, die sich von selbst erledigt.