Warum eine einmalige Testquote nicht reicht
Ein Test vor dem Launch liefert eine einzelne Zahl zu einem einzelnen Zeitpunkt. Ob diese Zahl drei Monate später noch stimmt, lässt sich nur beantworten, wenn dieselbe Messung regelmäßig wiederholt wird – gegen denselben Maßstab, nicht nach Gefühl.
Kennzahl 1: Fehlerquote über Zeit
Dieselbe Prüfung, die beim Launch einmal lief, lässt sich in festen Abständen wiederholen – etwa monatlich mit einer Stichprobe echter Anfragen. Eine sinkende Erfolgsquote ist ein direktes Signal für die Datenverteilungs- oder Modell-Veränderungen aus dem vorigen Modul.
Kennzahl 2: Eskalationsrate an Menschen
Wie oft übergibt das System eine Anfrage an einen Menschen, weil es selbst nicht weiterkommt oder eine Freigabe nötig ist? Ein Anstieg dieser Rate ist oft ein Frühwarnsignal, das lange vor einer Kundenbeschwerde sichtbar wird.
Kennzahl 3: Kosten pro Anfrage im Zeitverlauf
„Token-Ökonomie: Wie AI-Kosten wirklich entstehen“ hat die vier Kostenhebel erklärt. Im laufenden Betrieb zählt zusätzlich die Entwicklung über Zeit: Steigen die Kosten pro Anfrage, obwohl sich an Modell und Anbieter nichts geändert hat, deutet das auf ein verändertes Nutzungsmuster hin – zum Beispiel mehr komplexe Anfragen, als beim Launch angenommen.
Kennzahl 4: tatsächliche Nutzungsrate
Wird das System wirklich genutzt, oder weichen Mitarbeitende auf den alten, manuellen Weg aus? Eine sinkende Nutzungsrate zeigt oft ein Vertrauens- oder Akzeptanzproblem an, bevor es in Zahlen wie Fehlerquote sichtbar wird.
Warum das für dich als Entscheider zählt
Keine dieser vier Kennzahlen ist für sich genommen ausreichend – erst zusammen ergeben sie ein Bild, ob eine AI-Lösung noch das tut, wofür sie eingeführt wurde. Wer sie von Anfang an einplant, statt erst zu reagieren, wenn Kunden sich beschweren, erkennt Probleme, wenn sie noch klein und günstig zu beheben sind.