Drift ist kein Ausfall
Ein Ausfall ist laut und eindeutig: Das System antwortet nicht, eine Fehlermeldung erscheint, jemand meldet sich. Drift ist das Gegenteil – die Qualität sinkt in kleinen Schritten, jede Antwort für sich betrachtet wirkt noch plausibel, und es gibt keinen einzelnen Moment, an dem etwas offensichtlich „kaputt“ geht.
Drei Quellen für Drift
„Warum der Launch erst der Anfang ist“ hat drei Veränderungen nach dem Launch beschrieben, und alle drei können zu Drift führen: Verschiebt sich die Datenverteilung, treffen zunehmend Anfragen ein, für die das System nie ausgelegt war. Aktualisiert der Anbieter das Modell im Hintergrund, kann sich das Antwortverhalten leicht verschieben, ohne dass jemand es angekündigt hat. Und steigen die Erwartungen der Nutzenden, wirkt eine gleichbleibende Qualität plötzlich wie ein Rückschritt, obwohl sich am System selbst nichts geändert hat.
Warum Drift so gefährlich ist
Weil jeder einzelne Schritt so klein ist, gewöhnt man sich an ihn. Wer die Qualität nicht regelmäßig gegen eine feste Baseline misst, sondern sich nur auf den Eindruck „läuft doch“ verlässt, bemerkt die Verschlechterung oft erst, wenn sie schon deutlich spürbar ist – und dann meist durch eine Kundenbeschwerde statt durch eigene Beobachtung.
Wie man Drift früh erkennt
Die Kennzahlen aus „Welche Kennzahlen nach dem Launch wirklich zählen“ sind genau dafür gedacht: Fehlerquote, Eskalationsrate, Kosten pro Anfrage und Nutzungsrate ergeben nur dann ein Frühwarnsystem, wenn sie regelmäßig gegen dieselbe Baseline gemessen werden – nicht gegen den letzten Messwert, sondern gegen den Ausgangswert beim Launch.
Was zu tun ist, wenn Drift auftritt
Drift ist kein Grund für Panik oder einen sofortigen Neustart des ganzen Projekts. Sie ist ein Signal, den strukturierten Test aus „Wie man wirklich prüft, ob eine AI-Lösung funktioniert“ zu wiederholen – mit aktuellen, echten Anfragen statt der ursprünglichen Testdaten – und darauf aufbauend gezielt nachzusteuern.