Zum Inhalt springen
Beyond Prompt AI Studio
AI-Sicherheit für Unternehmen

Praxis: der Incident-Response-Fahrplan

Die bisherigen Module dieses Kurses zeigen, wie man Risiken vorbeugt. Dieses Modul beantwortet die Frage, die trotzdem irgendwann kommt: Was tun, wenn ein KI-Agent tatsächlich etwas Unerwartetes getan hat? Ein etablierter vierstufiger Rahmen gibt die Struktur vor – angepasst auf die Signale, die AI-Systeme spezifisch erzeugen.

Vier Incident-Signale – zum Merken

Probier es aus: Klassischer IT-Vorfall vs. AI-Layer-Vorfall

Tippe auf eine Dimension, um beide Seiten zu vergleichen.

Klassischer IT-Vorfall

Klassischer IT-Vorfall: kompromittierte Zugangsdaten, auffälliger Netzwerk-Traffic.

AI-Layer-Vorfall

AI-Layer-Vorfall: ungewöhnliche Werkzeug-Aufrufmuster, Prompt-Muster.

Der vierstufige Rahmen: nicht neu erfunden, nur angepasst

Der US-Standardisierungsbehörde NIST zufolge (Rahmenwerk SP 800-61, jüngste Fassung von April 2025) läuft jeder Sicherheitsvorfall in vier Phasen ab: Vorbereitung, Erkennung und Analyse, Eindämmung/Beseitigung/Wiederherstellung, und Nachbereitung. Dieser Rahmen ist bewährt und muss für KI-Vorfälle nicht neu erfunden werden – er muss nur um AI-spezifische Signale ergänzt werden, die ein klassisches IT-Sicherheitsteam sonst übersieht.

Warum AI-Layer-Vorfälle andere Signale erzeugen

Ein klassischer IT-Vorfall zeigt sich typischerweise über kompromittierte Zugangsdaten oder auffälligen Netzwerk-Traffic. Ein AI-Layer-Vorfall – Prompt Injection in einer produktiven Anwendung, eskalierende Werkzeug-Aufrufe eines Agenten, der Versuch, ein Modell durch gezielte Anfragen auszulesen, promptbasierte Datenexfiltration – sieht auf klassischen Monitoring-Dashboards oft völlig unauffällig aus, weil es sich als normale Anwendungsnutzung tarnt. Wer nur nach klassischen Signalen sucht, übersieht diese Vorfallklasse zuverlässig.

Die vier Phasen, angewendet auf AI-Vorfälle

Vorbereitung bedeutet für KI-Systeme: protokollieren, was ein Agent tatsächlich tut (nicht nur, was er antwortet), bevor überhaupt ein Vorfall vermutet wird. Erkennung und Analyse bedeutet: spezifisch nach AI-Signalen suchen – ungewöhnliche Werkzeug-Aufrufmuster, wiederholte fehlgeschlagene Anweisungsversuche, unerwartete Datenmengen in Ausgaben. Eindämmung bedeutet bei einem Agenten oft: den Agenten stoppen und seine Werkzeug-Rechte sofort entziehen, nicht nur einen Netzwerkzugang sperren. Nachbereitung bedeutet: die zugrunde liegende Rechte-Struktur oder Eingabe-Prüfung anpassen, damit derselbe Vorfalltyp nicht identisch wiederkehrt.

Praxis-Teil: Der Fahrplan vor dem ersten Vorfall, nicht danach

Der wichtigste praktische Rat: dieser Fahrplan gehört erstellt, bevor der erste Vorfall passiert, nicht während er läuft. Konkret heißt das: vorab festlegen, wer im Ernstfall informiert wird, wie ein Agent im Notfall technisch gestoppt werden kann (siehe die architektonische Verteidigung aus einem früheren Modul dieses Kurses), und welche Protokolle im Vorfeld überhaupt vorhanden sein müssen, um im Nachhinein rekonstruieren zu können, was passiert ist. Ein Unternehmen, das diese Fragen erst im laufenden Vorfall beantwortet, verliert wertvolle Zeit genau in dem Moment, in dem sie am teuersten ist.

Das Wichtigste in Kürze

  • Der etablierte vierstufige NIST-Rahmen (Vorbereitung, Erkennung/Analyse, Eindämmung/Beseitigung/Wiederherstellung, Nachbereitung) muss für KI-Vorfälle nicht neu erfunden, nur angepasst werden.
  • AI-Layer-Vorfälle (Prompt Injection in Produktion, Werkzeug-Aufruf-Eskalation, Modell-Extraktion, promptbasierte Datenexfiltration) erzeugen andere Signale als klassische IT-Vorfälle und werden von klassischem Monitoring oft übersehen.
  • Vorbereitung bedeutet bei KI-Systemen: protokollieren, was ein Agent tatsächlich tut, nicht nur, was er antwortet.
  • Eindämmung bedeutet bei einem Agenten oft: sofortigen Entzug der Werkzeug-Rechte, nicht nur eine Netzwerksperre.
  • Der Fahrplan gehört vor dem ersten Vorfall erstellt – wer diese Fragen erst im laufenden Vorfall klärt, verliert wertvolle Zeit genau dann, wenn sie am teuersten ist.

Der zweite OpenAI-Vorfall: Fünf Tage lang war es ein Angriff. Dann war es ein Versehen.

Kurz-Check: Hast du es verstanden?

1 / 3

Warum übersehen klassische Monitoring-Dashboards häufig AI-Layer-Vorfälle?

Wollt ihr einen Incident-Response-Fahrplan für eure eigenen KI-Systeme aufsetzen?