Warum „fühlt sich gut an“ nicht reicht
Ein paar Testfragen an einen Chatbot zu stellen und die Antworten gut zu finden, ist kein verlässlicher Test – unser Eindruck täuscht leicht, besonders bei überzeugend klingenden, aber im Kern falschen Antworten (siehe Modul 4, Halluzination). Eine echte Prüfung – im Fachjargon: Evaluation oder kurz „Eval“ – folgt einem festen Ablauf.
Vier Schritte einer echten Prüfung
1. Erfolgskriterium vorher festlegen
Was genau bedeutet „richtig“ für diese Aufgabe? Ohne klar definiertes Kriterium lässt sich hinterher alles als Erfolg umdeuten.
2. Mit echten, repräsentativen Beispielen testen
Nicht nur mit den einfachsten Fällen, sondern mit einer Mischung, die eure tatsächlichen Anfragen widerspiegelt – inklusive schwieriger Randfälle.
3. Gegen eine Baseline vergleichen
Wie gut wäre ein Mensch, oder eine einfachere bestehende Lösung, bei denselben Beispielen? Ohne Vergleichswert lässt sich eine Quote wie „85 % richtig“ schwer einordnen.
4. Kontinuierlich nachmessen
Ein Modell-Update beim Anbieter oder mehr Anfragen im echten Betrieb können die Qualität verändern – eine einmalige Prüfung zu Projektbeginn reicht nicht dauerhaft.
Warum das für dich als Entscheider zählt
Wer nach der Testphase nur fragt „war das gut?“, bekommt eine Meinung. Wer nach Erfolgskriterium, Beispielmenge, Vergleichswert und laufender Messung fragt, bekommt eine belastbare Grundlage für eine Investitionsentscheidung (siehe auch Modul 9, Kosten & ROI).